セキュリティレイクハウスのためのリファレンスアーキテクチャ

Databricksレイクハウスを使用した大規模なセキュリティテレメトリの運用化

このリファレンスアーキテクチャは、セキュリティチームがDatabricksレイクハウスを使用して、多様なテレメトリを収集、正規化、運用化する方法を示しています。これは、リアルタイム分析、検出エンジニアリング、コンプライアンスレポート、および下流のSOCツールとの統合をサポートします。

アーキテクチャの概要

セキュリティテレメトリは複雑で、大量のデータが多くのシステムから発生します。レガシーアーキテクチャは、コスト、保持、およびクロスソース相関に苦労することがよくあります。Databricksのセキュリティレイクハウスは、セキュリティチームがこのデータをオープンフォーマット、管理されたパイプライン、および柔軟な計算エンジンを使用して集約し、運用化するのに役立ちます。

このアーキテクチャは、エンドポイント、アイデンティティシステム、クラウドプロバイダー、脅威フィード、SIEM、ビジネスアプリケーションからの構造化および非構造化セキュリティデータを取り込むためのモジュラーでクラウドネイティブな設計を概説しています。取り込まれ、正規化されたこのデータは、脅威検出、トリアージ、AI駆動の調査、レポートなどの下流のユースケースを支えます。

1. 収集とルーティング

セキュリティデータは、エンドポイント、クラウドプラットフォーム、アイデンティティシステム、脅威フィードなど、複数のソースから収集されます。データは、エージェントベースのコレクター、ストリームブローカー、ログアグリゲーター、または直接APIを通じてルーティングされます。これらのツールは、構造化されたものと非構造化のものの両方の形式をサポートし、リアルタイムまたはバッチで動作することができます。

例えば：

• Fluentd、Vector、または商用ログシッパー
• Kafka、Event Hub、またはKinesis
• Cribl、Databahn、またはWebhookベースのパイプライン

2. 取り込みと着陸

データは、構造化されたバッチ取り込みまたはリアルタイムのストリーミングを介してレイクハウスに入ります。取り込まれたデータは、デルタレイクのブロンズテーブルに書き込まれ、忠実性と追跡可能性が保持されます。Unityカタログは、パイプラインの最初からデータが管理され、発見可能であることを保証します。

コラボレーションの機能には以下のものが含まれます。

• フラットファイル、JSON、CSV、ネストされた形式のサポート
• Kafkaや他のブローカーからのストリーム取り込み
• Unity Catalogを通じたガバナンスと発見可能性

3. 正規化と変換

生のデータは、解析と検出のための構造化された形式にパース、フラット化、そして豊かにされます。この段階では、メダリオンアーキテクチャ（ブロンズ、シルバー、ゴールド）を使用して、検出エンジニアリングとレポート作成を燃料とする再利用可能な、問い合わせ可能なテーブルを作成します。

正規化タスクには以下のものが含まれます：

• スキーマの整列（例えば、OCSFまたはカスタムモデル）
• メタデータや脅威インテリジェンスによるエンリッチメント
• 重複排除、パース、タイムスタンプの整列

4. AIと高度な分析を有効にする

正規化されたデータは、セキュリティ利用ケースをサポートするネイティブのDatabricks AIエージェントフレームワークにフィードされます。これらのエージェントは、異常を検出し、アラートをトリアージし、調査ワークフローを自動化することができます。プラットフォームは、開発から本番までのエージェントライフサイクル管理をサポートします。

Databricks MLは以下の機能を提供します。

• トレーニングと推論のためのデータの準備
• 検出エージェントのデプロイと管理
• 本番環境でのモデルパフォーマンスのスコアリングと評価

5. セキュリティ運用の強化

レイクハウスは、脅威ハンティング、アラート、インシデント対応、自動化などのコアSOC機能を可能にします。構造化された出力はダッシュボード、チケット、SOARワークフロー、下流システムにフィードされます。

結果には以下のようなものがあります：

• 調査の迅速化とアラート疲労の軽減
• ソース間でのテレメトリの統一ビュー
• ノートブックとSQLを通じたコラボレーションの強化

6. セキュリティ結果の提供

キュレーションされた洞察が必要なツールとチームに流れます。データ製品は、コンプライアンス、レポート作成、ユーザー行動分析、異常検出、リスクスコアリングをサポートします。SIEMは、洗練されたアラートとコンテキストの下流の消費者となります。

下流消費の例：

• コンプライアンスレポートダッシュボード
• UEBAと異常検出パイプライン
• SIEMの強化とSOARプレイブック