Databricks에서 특화된 에이전트를 통한 보안 경보 분류 확장

낮은 심각도가 낮은 우선순위를 의미하지 않는다면 어떨까요?

Databricks는 엔드포인트 보안 도구, 클라우드 활동 로그, 위협 인텔리전스 피드 등 다양한 소스로부터 페타바이트 규모의 보안 로그를 보안 레이크하우스로 수집합니다. 당사의 탐지 아키텍처는 악성 활동이 있는지 이 데이터를 지속적으로 모니터링합니다. 식별된 모든 신호는 중앙 집중식 알림 테이블에 저장되며, 여기서 침해 사고 대응(IR) 분석가의 검토를 기다립니다.

매일 발생하는 수천 개의 보안 알림 중에서 실제 위협을 찾는 것은 '모래밭에서 바늘 찾기'와 같은 전형적인 문제입니다. 대부분의 팀은 알림의 심각도에 따라 우선순위를 지정하여 이 업무량을 처리합니다. 보통 '높음(HIGH)' 및 '중간(MEDIUM)' 등급을 먼저 분류하고, 여력이 생기면 '낮음(LOW)' 등급을 처리합니다.

Databricks의 IR 팀은 세 가지 우선순위 레벨 전체에 걸쳐 보안 알림을 처리합니다. 과거에는 LOW 알림의 막대한 양과 낮은 정확도 때문에 HIGH 및 MEDIUM 알림을 우선적으로 처리했습니다. 규모가 큰 모든 보안 팀은 분석가 인력을 늘리거나, 알림 임계값을 높여 사각지대를 감수하거나, 프로세스를 자동화할 방법을 찾는 것 중 하나를 선택해야 하는 동일한 절충 상황에 직면합니다. 우리는 대규모로 추론하고 판단을 내릴 수 있는 에이전트를 활용하여 후자를 선택했습니다.

특화된 에이전트가 필요한 이유

에이전트가 보안 알림을 안정적으로 분류하고 에스컬레이션할 수 있는지 검증하기 위해, 우리는 낮은 심각도의 알림부터 시작했습니다. 우리의 목표는 간단했습니다. 추가 조사가 필요한 알림을 식별하는 것이었습니다.

처음에는 단순한 방식으로 접근하여 모든 관련 알림 데이터를 단일 프롬프트에 넣고 파운데이션 모델이 무엇을 에스컬레이션할지 결정하도록 했습니다. 이 방식은 50%의 에스컬레이션율을 기록했습니다. 전체 알림의 절반을 분석가에게 보내는 것은 분류가 아니라 또 다른 형태의 노이즈에 불과했습니다.

문제는 컨텍스트였습니다. 모든 알림을 통틀어 추론하는 단일 에이전트는 각 소스별로 비정상적인 상태가 어떤 모습인지 구분할 방법이 없습니다. 알림을 정확하게 분류하는 데 필요한 모든 것(오탐 패턴, 행동 기준선, 관련 강화 정보)은 소스에 따라 다릅니다. 이러한 컨텍스트가 없으면 모델은 일반적인 사이버 보안 지식에만 의존해야 했고, 이는 정확한 분류를 수행하기에 충분하지 않았습니다.

아키텍처: 에이전트 군단

우리는 정확한 분류에 필요한 컨텍스트가 소스에 따라 매우 다르기 때문에, 각각 단일 탐지 소스에 맞게 조정된 17개의 소스별 에이전트를 중심으로 파이프라인을 재구축했습니다. 단일 소스에서 수십 개의 고유한 탐지가 발생할 수 있으며, 해당 에이전트가 이를 모두 처리합니다.

또한 낮은 심각도 알림을 분류하는 에이전트 군단과 함께 작동하는 전용 위협 인텔리전스(TI) 에이전트도 보유하고 있습니다. 이 에이전트는 더 깊은 조사가 필요한 지표나 행동을 발견했을 때 어떤 에이전트든 호출할 수 있습니다. TI 에이전트는 위협 인텔리전스 소스를 쿼리하고 '이 아티팩트가 알려진 악성인지, 알 수 없는지, 아니면 무해한지'에 대한 구조화된 평가를 반환합니다. 이는 컨텍스트가 없는 원시 침해 지표는 무의미하기 때문에 중요합니다. IP 주소는 단지 숫자에 불과합니다. 하지만 동일한 IP에 '지난 14일 동안 C2 인프라와 연관됨, 신뢰도 높음'이라는 정보가 추가되면 에이전트가 즉시 조치를 취할 수 있습니다.

Databricks의 Structured Streaming을 사용하여 낮은 심각도의 알림이 트리거되는 즉시 수집되고, TI 에이전트에 의해 추가 컨텍스트로 강화된 다음, 검토를 위해 적절한 하위 에이전트로 라우팅됩니다.

각 에이전트는 동일한 설계 원칙을 따릅니다:

결정론적 필터링. 프로그래밍 방식의 검사를 통해 알림 제목 및 컨텍스트 필드를 일치시켜 알려진 무해한 신호(신뢰할 수 있는 IP 목록, 서비스 계정 활동, 예상되는 도구 동작 등 환경별 미세한 차이)를 억제하고, LLM 호출 없이 즉각적인 처리 결정을 내립니다. 이는 소스에 따라 알림 볼륨의 30~95%를 처리합니다. '예상된 작업을 수행하는 안전한 것으로 알려진 IAM 역할' 또는 '정기적인 워크스페이스 거버넌스를 수행하는 관리자 이메일' 등이 이에 해당합니다. 필터링은 탐지 레이어에서 발생하거나 분류 로직 자체의 바로 옆에서 발생할 수 있습니다.

컨텍스트 강화. LLM이 알림을 보기 전에 에이전트는 영향을 받는 엔티티의 최근 알림 이력, 관련 활동 및 기타 관련 신호를 가져옵니다. 에이전트는 강화 과정에서 다른 에이전트 기능도 호출할 수 있습니다. 예를 들어 알림에 조사할 가치가 있는 IP나 도메인이 포함되어 있을 때 전용 위협 인텔리전스 에이전트를 호출하는 것입니다.

특화된 프롬프트 함수. 각 알림 제목은 프롬프트 함수에 매핑됩니다. 예를 들어, S3 비정상 액세스 알림은 IAM 정찰을 평가하는 지침이 포함된 함수로 이동하고, 권한 상승 알림은 예상되는 역할 가정 패턴과 예상치 못한 패턴을 구분하는 함수로 이동합니다. 일치하는 전용 함수가 없으면 일반 폴백 프롬프트가 알림을 처리합니다. 프롬프트 함수는 알림을 자신 있게 분류하기 위해 추가 컨텍스트가 필요한지 여부에 따라 싱글턴 모드(단일 LLM 호출) 또는 에이전트 모드(멀티턴 도구 호출 루프)로 실행됩니다.

공유 도구. 도구는 선택 사항이며 에이전트별로 다릅니다. 분류에 원시 클라우드 감사 로그, 소스 간 연관 알림 또는 IdP 활동 이력과 같은 더 많은 컨텍스트가 필요한 경우, 에이전트에 이를 검색할 수 있는 도구를 제공하며, LLM은 증거의 모호성에 따라 도구 호출 여부와 시점을 결정합니다.

공유 유틸리티. 여러 에이전트를 유지 관리하는 오버헤드를 관리하기 위해 에이전트 호출, 재시도 및 성능 평가를 처리하는 공통 프레임워크로 공유 유틸리티 코드를 리팩터링했습니다. LLM 호출 루프, 처리 결과 파싱, 도구 디스패치, Delta 테이블로의 결과 지속성 유지, 토큰 추적, MLflow 트레이싱, 프롬프트 주입 탐지 등 데이터 소스 전반에서 일관된 모든 로직이 여기에 포함됩니다.

LLM 추론 및 처리 결정. 모델은 증거 패키지를 분석하고 지원 분석과 함께 처리 결정(에스컬레이션, 모니터링 또는 종결)을 포함하는 구조화된 출력을 반환합니다.

비용 관리. 비용 지출을 제어하는 세 가지 제어 장치가 있습니다. 첫째, 결정론적 필터링을 통해 알려진 무해한 패턴과 일치하는 알림이 LLM에 도달하지 않도록 합니다. 가장 저렴한 호출은 아예 호출하지 않는 것입니다. 둘째, 비용 추적기가 각 배치에서 예상 지출을 누적하고 설정된 한도에 도달하면 처리를 중단하며 남은 알림은 건너뛴 것으로 기록합니다. 셋째, 일일 알림 한도는 유입되는 볼륨에 관계없이 총 일일 비용의 상한선을 제공합니다. 각 알림 내에서 카테고리별 도구 호출 예산은 LLM이 추가 컨텍스트를 무한정 계속 쿼리할 수 있는 폭주하는 탐색 루프를 방지합니다.

에이전트가 에스컬레이션을 결정하면 알림은 IR 대기열의 티켓이 되며, 여기서 분석가는 최종 분류 결정을 내리기 전에 원시 알림과 에이전트의 분석을 모두 검토합니다. 분석가가 에이전트의 에스컬레이션에 동의하지 않는 경우 티켓은 오탐(false positive)으로 레이블이 지정되며, 이 피드백은 에이전트의 성능을 조정하는 데 사용됩니다. 우리는 에이전트가 에스컬레이션한 낮은 심각도 알림이 HIGH 및 MEDIUM 심각도로 우선순위가 지정된 기존 알림보다 정탐(true positive)일 확률이 약 10배 더 높다는 것을 발견했습니다.

모든 에이전트 결정의 이면에 있는 인간 벤치마크

사람 분석가가 에스컬레이션된 티켓을 검토할 때, 에이전트의 결정을 승인하거나 기각하는 분석가의 결정이 평가를 위한 실측 정보(ground truth)가 됩니다. 고정된 사양에 대해 테스트할 수 있는 결정론적 프로그램과 달리, 에이전트는 판단을 내립니다. 동일한 알림이라도 실행에 따라 다른 출력을 생성할 수 있습니다. 따라서 사양에 대해 테스트하는 대신, 고품질 분류 결정이 어떤 모습인지 이미 알고 있는 IR 분석가들이 개발한 표준 데이터 세트를 기준으로 테스트합니다.

모든 에이전트 요청은 MLflow를 사용하여 기록되며 입력, 중간 단계 및 최종 출력을 캡처합니다. IR 분석가가 일반적인 워크플로 과정에서 티켓에 레이블을 지정하면, 각 레이블은 예상되는 응답으로 해당 MLflow 트레이스에 직접 기록됩니다. 이러한 레이블이 지정된 트레이스는 대규모로 분석가의 판단을 캡처하는 실측 정보 데이터 세트를 구축합니다. 이 데이터 세트는 향후 프롬프트 변경 사항을 배포하기 전에 평가하기 위한 벤치마크가 됩니다.

오탐을 넘어서 측정하기 위해, 우리는 알림을 검토하고 MLflow 트레이스에 레이블을 지정하는 인터페이스인 Databricks Review App을 사용할 계획입니다. 분석가는 각 알림에 대한 에이전트의 입력, 추론 및 결정을 확인하고 예상되는 결과를 트레이스에 직접 기록할 수 있습니다. 이를 통해 분석가는 에스컬레이션되지 않은 알림도 검토할 수 있어, 에이전트가 모니터링하거나 종결하기로 선택한 알림에 대한 실측 정보 커버리지를 구축하고 세 가지 처리 결정 모두에 대한 완전한 표준을 제공합니다.

결과

보안 에이전트는 이제 낮은 심각도 알림의 100%를 검토합니다. 주요 지표는 다음과 같습니다:

• 에이전트가 3.2%의 에스컬레이션율로 18,000개 이상의 알림을 분류했습니다.
• 에이전트가 에스컬레이션한 낮은 심각도 알림은 HIGH 또는 MEDIUM 심각도 알림보다 정탐일 확률이 약 10배 더 높았습니다.
• 중앙값 분류 시간: 10.5초
• 첫 30일 동안 6,500시간 이상의 분석가 시간을 절약했습니다.

에이전트에 의해 에스컬레이션된 주목할 만한 발견 사항:

• 알림 소스의 오탐률을 72%에서 3.4%로 줄였습니다.
• 22개의 의심스럽거나 파킹된 도메인 또는 악성 도메인을 식별했습니다.
• 사용자가 크랙 소프트웨어를 다운로드하여 실행한 사례를 포착했습니다. 에이전트는 정책 위반 및 악의적인 의도와 일치하는 행동 지표를 플래그로 지정했습니다.

배운 점

LLM은 고엔트로피 보안 데이터에서 환각 현상을 일으킵니다. 해시, 무작위 하위 도메인, 생성된 파일 이름 등은 언어 모델이 처리하기 어렵습니다. 언어에는 패턴이 있기 때문에 모델은 언어에 대해 추론하는 데 능숙합니다. 해시와 같은 보안 아티팩트는 의도적으로 패턴이 없도록 만들어졌기 때문에 LLM이 다루기 특히 어렵습니다. 정확성을 보장하기 위해 우리는 모델을 정보 회수(recall)가 아닌 추론(reasoning)에 사용합니다. 특정 아티팩트 값은 모델의 메모리가 아니라 신뢰할 수 있는 출처에 대한 도구 호출을 통해 가져옵니다.

맥락이 핵심입니다. 가장 큰 성능 향상은 각 프롬프트에 과거 경보 데이터, 경보 유형별 오탐률, 명시적인 행동 패턴을 추가함으로써 이루어졌습니다. 경보를 처리할 때, 분류 에이전트는 영향을 받은 사용자의 최근 6개월간의 경보 이력을 가져옵니다. 여러 사례에서 에이전트가 경보를 에스컬레이션한 이유는 트리거된 이벤트 자체의 신뢰도가 높아서가 아니라, 동일한 사용자로부터 발생한 세 번째 또는 네 번째 의심스러운 신호였기 때문입니다. 이러한 행동 상관관계는 기존의 결정론적 탐지 규칙으로는 포착하기 어려웠던 부분입니다.

예측 가능한 것은 자동화하고, 에이전트는 예측 불가능한 것에 대해서만 추론하도록 하세요. 가능한 한 결정론적 워크플로우를 선택하여 LLM이 검토해야 하는 범위를 제한하십시오. 지침이 개방적일수록 오탐률이 높아집니다. 범위를 좁히고 단계별로 구성된 에이전트 지침이 광범위한 프롬프트보다 일관되게 더 나은 성능을 보였습니다. LLM이 경보를 확인하기 전에 규칙 기반 필터링을 적용하는 것이 가장 효과적인 예 중 하나입니다.

Databricks 기반 구축

이 시스템은 실시간 경보 수집을 위한 Spark Structured Streaming, 경보 보존 및 보고를 위한 Delta 테이블, 에이전트의 모든 결정을 엔드투엔드로 캡처하는 MLflow Tracing, 분석가가 프로덕션 데이터에서 직접 추적을 레이블링하고 그라운드 트루스(ground truth)를 구축할 수 있는 Databricks Review App을 사용하여 Databricks 상에 구축되었습니다.

Databricks에서는 우리가 직접 사용하는 도구를 만듭니다. 이것은 당사의 플랫폼이 AI 네이티브 보안 운영을 어떻게 지원하는지 보여주는 하나의 예시입니다. 다음 단계: Databricks Genie가 어떻게 SOC에 자연어 조사를 도입하여, IR 분석가가 대화식으로 경보 데이터를 쿼리하고, 맥락을 탐색하며, 위협을 조사할 수 있도록 지원하는지 소개합니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)