데이터브릭스, 레이크워치 발표: 새로운 개방형 에이전트 SIEM

오늘, 점점 더 정교해지는 에이전트 공격자로부터 조직을 방어할 수 있도록 설계된 새로운 개방형 에이전트 SIEM인 Lakewatch를 발표합니다. Lakewatch는 보안, IT, 비즈니스 데이터를 관리되는 단일 환경으로 통합하여 AI를 탐지하고 대응할 수 있도록 지원합니다. 레이크워치는 개방형 포맷을 통해 고객이 전례 없는 양의 멀티모달 데이터를 수집, 보관, 분석하는 동시에 비용을 절감하고 공급업체 종속성을 없앨 수 있도록 지원합니다. 보안팀은 기업 전체에 대한 완벽한 가시성을 확보하고 방어적 보안 에이전트를 배포하여 대규모로 위협 탐지 및 대응을 자동화할 수 있습니다. Lakewatch는 오늘 비공개 프리뷰 버전으로 출시되며 Adobe, Dropbox와 같은 업계 선도 기업을 포함한 고객들에게 먼저 공개됩니다.

또한 고객이 텔레메트리를 개방형 형식으로 정규화하고, 자동화된 기계 속도 방어를 통해 최신 위협에 대응하는 데 필요한 통합된 규모로 위협에 대응할 수 있도록 주요 보안 및 전송 파트너가 포함된 '개방형 보안 레이크하우스 에코시스템'을 출시합니다.

에이전트 시대를 위한 보안

보안은 근본적으로 변화하고 있습니다. 사이버 공격은 더 이상 사람에 의해서만 이루어지는 것이 아닙니다. 점점 더 인공지능을 기반으로 자동화되고 있습니다. LLM은 오픈 소스 코드에서500개 이상의 제로데이를 발견했으며, AI 에이전트는 버그 바운티 플랫폼에서최고 수준의 해커가 되었고, 국가 지원 단체는 침입을 자동화하기 위해 AI를 무기화했습니다. 공격자들은 이제 기계적인 규모로 활동하며 24시간 연중무휴로 익스플로잇을 구축하고 공격을 조정합니다.

이러한 기계 규모의 공격에 직면하면 최고의 보안 운영팀도 구조적인 제약에 직면하게 됩니다. 오늘날의 보안 도구는 애널리스트가 수작업으로 경보를 강화하고, 수작업으로 작성자 탐지 규칙을 만들고, 며칠 또는 몇 주에 걸쳐 위협 추적 가설을 테스트해야 합니다. 이러한 워크플로는 사람이 주도하는 위협에 효과적으로 대응할 수 있습니다. 24시간 연중무휴 기계의 속도로 작동하는 AI 기반 공격에 대해 아키텍처 자체가 병목 현상이 발생합니다. 제로데이클락닷컴은 익스플로잇에 걸리는 평균 시간이 2025년 23.2일에서 2026년 1.6일로 줄어들었다는 사실을 발견했습니다.

데이터를 살펴보면 문제는 더욱 복잡해집니다. 대기업은 매일 테라바이트, 심지어 페타바이트 단위의 보안 데이터를 생성하지만, 기존 SIEM은 스토리지와 compute를 결합하여 수집되는 모든 바이트에 대해 재정적 불이익을 초래합니다. 팀은 수집을 제한하고, 라우팅 계층을 통해 데이터를 필터링하고, 기록 데이터를 삭제하고, 채팅 Logs 및 비디오와 같은 멀티모달 소스를 완전히 무시하는 방식으로 대응합니다. 공격자는 AI 에이전트를 사용하여 모든 것을 분석하고 어디서든 공격하는 반면, 방어자는 자신의 데이터 중 일부만 볼 수 있는 위험한 비대칭이 발생합니다. 기존 SIEM은 멀티모달 데이터를 처리할 수 없지만, 바로 여기에 소셜 엔지니어링 공격, 내부자 위협, 프롬프트 인젝션 시도가 숨어 있습니다.

이는 단순한 비용이나 규모 문제가 아닙니다. 이는 우리가 직면한 위협과 이에 대응하기 위해 필요한 도구 간의 근본적인 구조적 불일치입니다. 이전에도 이 문제를 정확히 해결한 적이 있습니다. 데이터 웨어하우스는 고비용의 수집, 사일로화된 데이터, 특정 사용 사례에 국한된 데이터라는 동일한 한계를 가지고 있었습니다. 레이크하우스는 개방형 형식, 저렴한 스토리지, 모든 데이터 유형 지원으로 이 모델을 파괴했습니다. 이제 보안에도 동일한 변화를 가져오고 있습니다.

레이크워치는 레이크하우스의 경제성과 아키텍처를 보안 운영에 적용합니다. % 100개의 보안 원격 분석(멀티모달 데이터 포함)을 수집 및 보관하고, 모든 비즈니스 데이터와 함께 분석하고, 기존 비용의 일부로 탐지 및 대응을 위한 AI 기반 에이전트를 배포할 수 있습니다.

How Lakewatch Changes Security 운영:

모든 데이터에 대한 완벽한 가시성

조직은 이미 위협을 조사하는 데 필요한 컨텍스트를 보유하고 있습니다. HR 시스템, 협업 플랫폼, 애플리케이션 Logs, 트랜잭션 데이터는 오늘날 레이크에 존재하지만 기존 보안 도구로는 비용이 많이 드는 중복 없이 액세스할 수 없습니다. Lakewatch는 모델을 뒤집습니다. 보안이 lakehouse에서 직접 실행됩니다. Unity Catalog를 기반으로 구축된 보안 데이터는 다른 모든 데이터와 함께 보관됩니다. 알림이 발생하면 파일을 이동하거나 도구를 전환하지 않고도 모든 데이터 소스에서 즉시 상관관계를 파악할 수 있습니다. 최신 공격은 시스템 간의 격차를 악용하고 기존 도구로는 처리할 수 없는 소셜 엔지니어링, 내부자 컨텍스트 및 멀티모달 신호에 의존합니다. 모든 컨텍스트를 한곳에 모아두면 애널리스트는 며칠이 아닌 몇 분 안에 위협을 탐지하고 차단할 수 있습니다.

Lakewatch를 통해 이를 가능하게 합니다:

• 전사적 거버넌스: 테이블, 행, 열, 속성 수준에서 세분화된 액세스 제어와 모든 데이터에 대한 완벽한 감사 기능을 제공합니다.
• 개방형 표준: 개방형 사이버 보안 스키마 프레임워크(OCSF)를 기반으로 구축되어 데이터가 독점적인 형식에 종속되지 않습니다.
• 자동화된 수집: Lakeflow Connect는 주요 보안 소스(AWS, Okta, Zscaler 등)의 수집과 표준화된 테이블로의 정규화를 처리합니다.
• 진정한 데이터 소유권: 자체 클라우드 스토리지의 Delta Lake 또는 Apache Iceberg에 데이터를 저장하고, 모든 클라우드에서 쿼리를 실행하며, 공급업체 종속을 방지하세요.

에이전트로 에이전트와 싸우기

기존의 SIEM은 데이터의 전체 컨텍스트에 액세스할 수 없는 임시방편적인 AI 기능에 의존합니다. Lakewatch는 보안 데이터가 있는 곳에 직접 임베디드 AI를 제공합니다. Genie는 새로운 로그 소스를 수집 및 구문 분석하고, 최신 위협 인텔리전스를 기반으로 새로운 탐지를 작성하고, 오탐을 줄이기 위해 기존 규칙을 수정하고, 자연어 질문을 SQL query로 변환하는 등의 중요한 워크플로를 자동화합니다. Genie Spaces를 사용하면 보안 팀이 전문 쿼리 언어 대신 일반 영어를 사용하여 페타바이트급 데이터를 쿼리할 수 있으므로 기술 수준에 관계없이 위협 헌팅을 민주화할 수 있습니다.

주요 기능은 다음과 같습니다:

• Genie Code: 수집을 자동화하고, 새로운 탐지를 작성하고, 규칙을 수정하여 오탐을 줄이고, 자연어 질문을 조사를 위한 SQL 쿼리로 변환하는 AI 어시스턴트입니다.
• Genie Spaces: 자연어 query 인터페이스와 에이전트 하네스를 통해 모든 사용자는 복잡한 query 언어를 배우지 않고도 데이터에 대해 질문하여 복잡한 다단계 위협 헌팅을 수행할 수 있습니다.
• 코드형 탐지: SQL 쿼리 또는 Python 노트북으로 YAML에서 탐지 규칙을 정의하고, 기록 데이터에 대해 백테스트하고, CI/CD 파이프라인을 통해 배포하세요.
• 사용자 정의 ML 탐지: MLflow, 특징점, Model Serving을 사용하여 보안 데이터에서 직접 머신 러닝 모델을 학습하고 배포하여 이상 탐지, 행동 분석, 엔터티 위험 점수 등을 지원하세요.
• 강력한 대시보드: AI로 강화된 시각화를 통해 경영진, 운영 및 규정 준수 대시보드를 만들어 실시간 모니터링하세요.

페타바이트 규모의 효율적인 보안 운영

스토리지와 compute을 분리하면 페타바이트급 보안 원격 분석을 자체 클라우드 스토리지에 저장하고 compute에 대한 비용만 지불할 수 있습니다. 서버리스 compute을 사용하여 필요할 때만 분석을 실행하세요. 몇 주가 아닌 수년간의 핫 쿼리 가능한 데이터를 유지하세요. 데이터의 소유권은 사용자에게 있습니다. 비용을 관리할 수 있습니다.

이는 다음과 같이 해석됩니다:

• 데이터를 소유하세요: 개방형 형식을 사용하여 사용자가 제어하는 클라우드 개체 스토리지(S3, ADLS, GCS)에 저장된 보안 원격 분석.
• 장기 보존: 비용 부담 없이 다년간 규정 준수 요구 사항을 충족하고 위협 헌팅을 강화하세요.
• 예측 가능한 경제성: 바이트당 라이선스 비용 없이 풀 충실도 Logs를 대규모로 저장하세요.
• 탄력적인 온디맨드 compute: 세분화된 비용 제어를 통해 필요할 때만 강력한 분석 및 ML 워크로드를 프로비저닝하세요.
• Serverless performance: 관리할 인프라가 없습니다. 쿼리에 대해서만 결제하세요.

Anthropic과의 파트너십 강화

데이터브릭스와 앤트로픽은 기존 전략적 파트너십의 성공을 바탕으로 에이전트 보안 운영을 제공하기 위해 협력을 강화하고 있습니다. 클라우드의 고급 추론 기능을 사용하여 보안, IT, 비즈니스 데이터 전반의 신호를 상호 연관시켜 위협을 더 빠르게 파악하는 Anthropic의 Claude 모델은 Lakewatch를 강화하는 데 도움이 됩니다. 또한 Anthropic은 자체 보안 레이크하우스에 데이터브릭스를 사용하여 보안 및 비즈니스 데이터에 대한 완벽한 가시성을 확보하고 위협을 조기에 탐지합니다.

개방형 보안 Lakehouse 에코시스템

데이터브릭스는 오늘날의 위협은 고객이 자신의 데이터를 완전히 제어할 수 있는 에코시스템 전반의 개방형 협업을 필요로 한다고 믿습니다. 그렇기 때문에 Akamai, Anvilogic, Arctic Wolf, Cribl, Deloitte, Obsidian, Okta, 1password, Palo Alto Networks, Panther, Proofpoint, Rearc, Slack, TrendAI, Wiz (현재 Google Cloud의 일부), Zscaler 등 최고의 보안 벤더 및 전송 파트너로 빠르게 성장하고 있는 "오픈 보안 레이크하우스 에코시스템"을 발표하게 되어 매우 기쁩니다.

지스케일러는 개방형 생태계에 대한 데이터브릭스의 노력을 공유합니다. 오픈 시큐리티 레이크하우스 에코시스템에 합류하여 상호 고객에게 AI 네이티브 솔루션으로 AI 네이티브 공격을 방어하는 데 필요한 데이터와 도구를 제공하게 되어 기쁘게 생각합니다. - 에디 파라, VP 솔루션 아키텍트 파트너 에코시스템, Zscaler

사이버 위협이 AI 기반의 기계 규모 공격으로 진화함에 따라 조직은 이에 대응하기 위해 근본적으로 새로운 아키텍처가 필요할 수 있습니다. Lakewatch는 보안 운영을 한 단계 발전시킨 것으로, Databricks lakehouse의 강력한 기능을 SOC에 도입하여 팀이 데이터를 활용하고, 지능형 에이전트를 배포하고, 진화하는 위협에 앞서 대응할 수 있도록 지원합니다. - 제니퍼 비탈보, 정부 및 공공 서비스 사이버 방어 및 복원력 오퍼링 리더, 딜로이트 & Touche LLP

안티매터 및 SiftD.ai 인수를 통한 보안 리더십 확대

개방형 에이전트 SIEM 접근 방식을 발전시키기 위해 데이터브릭스에서 Antimatter와 SiftD.ai를 인수한다고 발표했습니다. Antimatter는 UC 버클리 보안 연구원들이 설립한 회사로, AI 에이전트에 대한 보안 인증 및 권한 부여를 위한 기반을 마련했습니다. SiftD.ai, 스플렁크의 검색 처리 언어(SPL)의 창시자이자 스플렁크 검색 스택의 수석 아키텍트가 설립한 이 회사는 대규모 탐지 엔지니어링과 최신 위협 분석에 대한 심층적인 전문 지식을 제공할 것입니다.

더 알아보기

Lakewatch는 보안 운영 방식의 근본적인 변화를 의미합니다. 개방형 보안 레이크하우스로서 경제성이 더 좋고, 아키텍처가 더 유연하며, AI 기능이 추가되는 것이 아니라 기본으로 제공됩니다.

레이크워치는 더 광범위한 출시를 위해 노력하면서 비공개 미리 보기로 출시됩니다. 비용 압박, 보존 제한 또는 대규모 보안 워크로드를 데이터 플랫폼으로 가져오고자 하는 경우, 여러분의 의견을 듣고 싶습니다.

SOC를 현대화하는 방법에 대해 자세히 알아보려면 Lakewatch 제품 페이지를 방문하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)