Unity Catalog의 행 수준 테넌트 격리 기능과 Databricks Genie를 기반으로 구축된 Barracuda Managed XDR의 AI 기반 로그 검색 기능 소개.
보안 분석가가 의심스러운 로그인이나 비정상적인 방화벽 차단 알림을 받으면, 그 해답은 거의 항상 로그에 있습니다. 하지만 그 해답을 찾는 것이 가장 어려운 부분입니다.
Barracuda Managed XDR은 고급 탐지 기능과 전담 보안 관제 센터(SOC)를 결합하여 기업이 엔드포인트, 네트워크, 이메일, 클라우드 환경 전반에서 위협을 방지, 탐지 및 대응할 수 있도록 지원하는 AI 기반 보안 서비스입니다.
이러한 보호는 수천 개의 고객 환경에 걸친 방화벽, 엔드포인트, ID 제공업체, 클라우드 플랫폼, 이메일 게이트웨이의 방대한 보안 로그에 의존합니다. WatchGuard, Fortinet, Palo Alto, Microsoft 365, AWS 등 모든 소스는 고유한 스키마와 필드 이름을 가지고 있습니다. 따라서 기존에는 이 데이터에서 원하는 답을 얻으려면 SQL을 작성해야 했고, 각 벤더 데이터의 불일치성과 독점 포맷을 일일이 파악해야 했습니다.
Barracuda의 엔지니어링 팀은 이 문제를 해결하고자 했습니다. 이들은 분석가, MSP 엔지니어, 보안 관리자 등 누구나 수십 개의 로그 포맷을 마스터하지 않고도 데이터를 직접 쿼리할 수 있기를 원했습니다.
그 결과 탄생한 솔루션이 바로 Genie를 기반으로 구축되어 XDR 대시보드에 직접 통합된 'AI 기반 로그 검색(AI-Powered Log Search)'입니다. 사용자는 "지난 24시간 동안 외부 IP에서 발생한 로그인 실패 시도를 보여줘"와 같은 질문을 던지고 몇 초 만에 결과를 얻을 수 있으며, 데이터 레이어에서 멀티 테넌트 격리가 철저히 적용됩니다.
작동 방식에 대한 자세한 기술적 분석을 원하시나요? Barracuda 엔지니어링 팀의 블로그 게시물을 읽어보세요.
AI 기반 로그 검색이 도입되기 전에는 조사가 보통 두 가지 방식 중 하나로 진행되었습니다.
담당 분석가가 특정 데이터 소스의 관련 스키마를 알고 있다면 직접 데이터를 쿼리할 수 있었습니다. 하지만 벤더 포맷의 전체적인 구조를 배울 시간이나 배경지식을 가진 사람이 거의 없었기 때문에, 소수의 시니어 분석가들이 대부분의 비정형 업무를 처리해야 했습니다.
그렇지 않은 경우에는 상위 단계로 에스컬레이션해야 했습니다. 쿼리를 작성할 수 있는 사람에게 질문이 전달되면서 대기열이 발생했고, 간단한 요청조차도 시니어 분석가가 시간을 낼 수 있을 때까지 대기해야 했습니다.
두 가지 방식 모두 수천 명의 고객과 파트너로 확장하기에는 한계가 있었습니다. Barracuda는 SQL 지식 없이도 모든 사용자가 데이터에 직접 액세스할 수 있으면서도, 관리형 플랫폼의 핵심인 테넌트 격리를 약화시키지 않는 솔루션을 원했습니다.
AI 기반 로그 검색은 XDR 대시보드 내에서 작동합니다. 사용자가 질문을 입력하면 Genie가 이를 SQL로 변환하여 해당 고객의 로그를 대상으로 실행하고, 친숙한 테이블 뷰로 결과를 반환합니다. 생성된 쿼리는 결과와 함께 표시되므로 분석가는 실행된 내용을 검증하거나 다음을 위해 SQL을 학습할 수 있습니다.
이 기능이 일반적인 text-to-SQL 도구보다 더 뛰어난 성능을 발휘하는 비결은 Genie가 액세스할 수 있는 컨텍스트에 있습니다. Barracuda는 네트워크, 서버, 클라우드, 이메일, 엔드포인트 소스를 아우르는 모든 열과 테이블에 대한 설명을 포함하여 보안 전용 메타데이터로 Unity Catalog를 풍부하게 구성했습니다. 따라서 사용자가 "차단된 연결"에 대해 질문하면 Genie는 해당 고객이 사용하는 방화벽 벤더에 상관없이 적절한 테이블과 필드에 요청을 매핑할 수 있습니다.
대부분의 분석가가 실제로 작업하는 방식인 멀티턴 대화(Multi-turn conversation)가 지원됩니다. 첫 번째 질문으로 광범위한 결과를 가져온 후, "이제 상위 10개 소스 IP로만 필터링해 줘", "지난주 동일한 데이터를 보여줘", "내부 주소는 제외해줘"와 같은 후속 질문을 통해 결과를 좁혀나갈 수 있습니다. Genie는 이전 컨텍스트를 계속 유지하므로, 매번 질문을 처음부터 다시 설명할 필요 없이 이전 질문에 이어서 대화를 진행할 수 있습니다.
Barracuda에 따르면, Genie 덕분에 일상적인 조사에서 인사이트를 얻는 시간(time-to-insight)이 몇 시간에서 몇 분으로 단축되었습니다. 지난달 같았으면 까다로운 쿼리를 에스컬레이션했을 주니어 분석가도 이제는 직접 실행할 수 있습니다. 여러 고객을 지원하는 MSP 엔지니어는 시니어 분석가에게 전달할 필요 없이 그 자리에서 즉시 질문에 답할 수 있습니다. 컴플라이언스 팀과 보안 책임자는 티켓을 제출하지 않고도 직접 데이터를 추출할 수 있습니다. 또한 모든 쿼리가 기록되므로 별도의 추가 작업 없이도 SOC 2 및 유사한 컴플라이언스 요구 사항을 충족하는 감사 추적(audit trail)이 가능합니다.
이러한 변화는 이미 Barracuda가 반복적인 로그 검색 요청을 처리하는 방식을 바꾸고 있습니다. Genie가 도입되기 전에는 비즈니스 사용자들이 특정 로그 검색 데이터를 추출하기 위해 정기적으로 SOC 분석가에게 의존해야 했습니다. SOC 팀은 한 달에 약 200건의 요청을 받았으며, 요청을 해석하고 적절한 데이터 소스와 스키마를 식별하고 SQL을 작성하여 쿼리를 실행한 후 티켓을 통해 회신하는 데 요청당 25~30분이 소요되었습니다. Genie를 통해 이러한 반복적인 요청을 셀프 서비스로 전환함으로써 매월 약 83~100시간, 연간 1,000~1,200시간에 달하는 SOC 분석가의 시간을 절약할 수 있게 되었습니다.
Databricks Genie를 사용하여 파트너와 SMB가 일상적인 언어로 복잡한 보안 데이터를 쿼리할 수 있도록 함으로써, Barracuda Managed XDR은 위협 조사를 놀라울 정도로 쉽게 만들어 줍니다. 이 직관적인 AI 기반 검색은 잠재적 위험에 대한 신속한 대처를 가능하게 하여 전반적인 운영 생산성과 기업 방어 능력을 크게 향상시킵니다.—Boopathy Veerappa, Director, Cyber DevOps Engineering - Managed XDR
보안 로그에 대한 자연어 인터페이스는 공유 플랫폼에서 수천 명의 고객에게 안전하게 노출될 수 있을 때만 유용합니다. 고객의 경계를 넘나드는 쿼리는 보안 침해를 의미하므로, Barracuda는 시스템의 모든 레이어에 테넌트 격리 기능을 구축했습니다.
Genie는 기본 테이블을 직접 쿼리하지 않습니다. 대신 쿼리 엔진이 SQL을 실행하기 전에 인증된 사용자의 조직별로 데이터를 필터링하는 Unity Catalog의 보안 뷰(secure view)를 쿼리합니다. 필터가 프롬프트나 애플리케이션 코드가 아닌 뷰 레이어에서 적용되기 때문에 잘못 작성되었거나 악의적인 쿼리가 이를 우회할 수 없습니다. 서비스 주체(Service principal)의 범위는 단일 조직으로 제한되며, 쿼리 검증기가 생성된 모든 SQL 문을 검사하여 조직 필터가 있는지 확인하고 실패한 쿼리는 거부합니다.
이러한 설계 덕분에 거버넌스도 자연스럽게 해결됩니다. 기본 테이블을 보호하는 동일한 행 수준 보안 정책이 자연어 쿼리에도 적용되므로, 유지 관리해야 할 별도의 액세스 모델이나 동기화해야 할 별도의 권한 부여 레이어가 필요하지 않습니다.
Barracuda의 Managed XDR 팀은 AI 기반 로그 검색을 지속적으로 고도화하고 있습니다. 검색 저장 및 예약 기능이 단기 로드맵에 포함되어 있으며, 요약을 위한 Barracuda의 AI Assistant와의 통합, 추가 데이터 소스 연동, 쿼리 결과로부터 직접 차트 및 시각화 생성 기능 등도 준비 중입니다.
복합 AI 아키텍처(compound AI architecture), 행 수준 보안 구현, 쿼리 검증 파이프라인, 멀티 리전 배포 모델을 포함한 전체 기술 분석은 Barracuda의 엔지니어링 블로그 게시물에서 확인하실 수 있습니다.
Genie에 대해 자세히 알아보고 팀에서 Genie를 활용해 모든 직원에게 데이터와 에이전트를 제공하는 방법을 확인하려면 Genie 제품 페이지를 방문하세요.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.