보안 레이크하우스를 위한 참조 아키텍처

Databricks 레이크하우스를 이용한 대규모 보안 텔레메트리 운영화

이 참조 아키텍처는 보안 팀이 Databricks 레이크하우스를 사용하여 다양한 텔레메트리를 수집, 정규화, 운영화하는 방법을 보여줍니다. 실시간 분석, 탐지 엔지니어링, 준수 보고, 하류 SOC 도구와의 통합을 지원합니다.

아키텍처 개요

보안 텔레메트리는 복잡하고, 대량이며, 많은 시스템에서 발생합니다. 레거시 아키텍처는 종종 비용, 보유, 교차 소스 상관 관계에 어려움을 겪습니다. Databricks 보안 레이크하우스는 보안 팀이 이 데이터를 중앙화하고 운영화하는 데 도움을 주며, 이를 위해 열린 형식, 관리된 파이프라인, 그리고 유연한 컴퓨트 엔진을 사용합니다. 

이 아키텍처는 엔드포인트, 신원 시스템, 클라우드 제공자, 위협 피드, SIEM 및 비즈니스 애플리케이션에서 구조화되고 비구조화된 보안 데이터를 수집하는 모듈식, 클라우드 네이티브 디자인을 개요화합니다. 일단 수집되고 정규화되면, 이 데이터는 위협 탐지, 분류, AI 주도 조사 및 보고를 포함한 하류 사용 사례를 지원합니다.

1. 수집 및 라우팅

보안 데이터는 엔드포인트, 클라우드 플랫폼, 신원 시스템 및 위협 피드를 포함한 여러 소스에서 수집됩니다. 데이터는 에이전트 기반 수집기, 스트림 브로커, 로그 집계기 또는 직접 API를 통해 라우팅됩니다. 이러한 도구는 구조화된 형식과 비구조화된 형식을 모두 지원하며 실시간 또는 배치에서 작동할 수 있습니다.

예시는 다음과 같습니다:

• Fluentd, Vector 또는 상업용 로그 발송자
• Kafka, Event Hub 또는 Kinesis
• Cribl, Databahn 또는 웹훅 기반 파이프라인 

2. 수집 및 저장

데이터는 구조화된 배치 수집 또는 실시간 스트리밍을 통해 레이크하우스에 들어옵니다. 수집된 데이터는 충실도와 추적 가능성을 보존하기 위해 Delta Lake Bronze 테이블에 기록됩니다. Unity Catalog는 파이프라인의 시작부터 데이터가 관리되고 발견될 수 있도록 보장합니다.

주요 기능은 다음과 같습니다:

• 플랫 파일, JSON, CSV 및 중첩 형식 지원
• Kafka 또는 기타 브로커에서 스트림 수집
• Unity Catalog를 통한 거버넌스 및 검색 가능성

3. 정규화 및 변환

원시 데이터는 분석 및 감지를 위한 구조화된 형식으로 파싱, 플래튼, 풍부하게 만들어집니다. 이 단계에서는 메달리온 아키텍처(Bronze, Silver, Gold)를 사용하여 재사용 가능하고 쿼리 가능한 테이블을 생성하여 감지 엔지니어링 및 보고를 지원합니다.

정규화 작업에는 다음이 포함됩니다:

• 스키마 정렬 (예: OCSF 또는 사용자 정의 모델)
• 메타데이터 또는 위협 인텔로의 풍부함
• 중복 제거, 파싱 및 타임스탬프 정렬

4. AI 및 고급 분석 활성화

정규화된 데이터는 보안 사용 사례를 지원하는 기본 Databricks AI 에이전트 프레임워크를 공급합니다. 이 에이전트는 이상을 탐지하고, 경고를 분류하고, 조사 워크플로우를 자동화할 수 있습니다. 플랫폼은 개발에서 생산까지의 에이전트 수명 주기 관리를 지원합니다.

기능에는 다음이 포함됩니다:

• 훈련 및 추론을 위한 데이터 준비
• 탐지 에이전트 배포 및 관리
• 생산에서 모델 성능 점수 매기기 및 평가

5. 보안 운영 활성화

레이크하우스는 위협 헌팅, 경고, 사고 응답 및 자동화와 같은 핵심 SOC 기능을 가능하게 합니다. 구조화된 출력은 대시보드, 티켓, SOAR 워크플로우 및 하류 시스템을 공급합니다.

결과에는 다음이 포함됩니다:

• 더 빠른 조사와 경고 피로 감소
• 소스 간 텔레메트리의 통합된 뷰
• 노트북 및 SQL을 통한 향상된 협업

6. 보안 결과 제공

정제된 통찰력은 필요한 도구와 팀에 흐릅니다. 데이터 제품은 준수, 보고, 사용자 행동 분석, 이상 탐지 및 위험 점수를 지원합니다. SIEM은 정제된 경고와 컨텍스트의 하류 소비자가 됩니다.

하류 소비의 예:

• 준수 보고 대시보드
• UEBA 및 이상 탐지 파이프라인
• SIEM 풍부함 및 SOAR 플레이북