ペタバイト規模に最適化されたArctic Wolfのリキッドクラスタリングアーキテクチャ

毎日、Arctic Wolfは1兆件以上のイベントを処理し、数十億ものエンリッチ化されたレコードからセキュリティ関連の知見を抽出しています。これは60TB以上の圧縮テレメトリに相当し、AI主導の脅威検出と対応を24時間365日、途切れることなく強化しています。リアルタイムの脅威ハンティングを強化するために、当社はこのデータを顧客とセキュリティ オペレーション センターにできるだけ早く提供する必要がありました。目標は、ほとんどのクエリーが 15 秒以内に結果を返すことです。

従来は、パーティショニングとz-orderingでは追いつかなかったため、最新データへのアクセスを提供するために他の高速なデータストアを活用する必要がありました。不審なアクティビティを検出すると、チームはすぐに 3 か月分の履歴コンテキストを横断してピボットし、攻撃パターン、ラテラル ムーブメント、侵害の全容を把握できます。3.8PB以上の圧縮データに対するこのリアルタイムの履歴分析は、現代の脅威ハンティングにおいて非常に重要です。侵害を数日で封じ込めるか数時間で封じ込めるかの違いは、数百万ドルもの損害を防ぐことにつながりかねません。

一刻を争う状況では、スピードと鮮度が重要です。Arctic Wolfは、インジェストコストを増大させたり、複雑さを加えたりすることなく、大規模なデータセットへのアクセスを高速化する必要がありました。課題調査は、高負荷のファイル I/O と古いデータによって遅延していました。データの構成方法を再考することで、当社のアーキテクチャは、少数の顧客がほとんどのイベントを生成するマルチテナントのデータスキューを効率的に管理すると同時に、最初の取り込みから最大数週間後に現れる可能性のある遅延到着データにも対応します。  測定可能な利点としては、ファイル数が400万以上から200万に削減され、パーセンタイル全体でクエリー時間が約50%短縮され、90日間のクエリーが51秒からわずか6.6秒に短縮されたことなどが挙げられます。データの鮮度は数時間から数分に向上し、セキュリティ テレメトリにほぼ即座にアクセスできるようになりました。

リキッドクラスタリングとUnity Catalogのマネージドテーブルがこれをどのように可能にしたか、つまり、一貫したパフォーマンスとほぼリアルタイムの知見を大規模に提供する方法については、こちらをお読みください。

レガシーのボトルネック: Arctic Wolfが再構築した理由

発生日時でパーティション分割され、テナント識別子で z-ordered された当社のレガシーテーブルは、パーティション全体に分割された多数の小さなファイルが原因で、ほぼリアルタイムでクエリーを実行できませんでした。さらに、データをクエリーする前にZ-orderingでOPTIMIZEをランする必要があったため、データは直近24時間以外のものしか利用できません。

それでもなお、データの到着が遅れるためにパフォーマンスの問題が続いていました。これは、システムがデータを送信する前にオフラインになった場合に発生し、その結果、新しいデータが古いパーティションに格納されてパフォーマンスに影響を及ぼします。  

古いデータは状況の把握を困難にします。その遅延が、攻撃者を封じ込めるか、ラテラル ムーブメントを許してしまうかの分かれ目となります。

これらのパフォーマンスの課題を軽減し、必要なデータの鮮度を提供するために、当社はホットデータをデータアクセラレータに複製し、データレイクのデータとクエリーブレンドしてビジネス要件を満たす必要がありました。このシステムはランコストが高く、維持するために多大なエンジニアリング労力を必要としました。

データアクセラレータを使用する際のこれらの課題に対処するため、データを均等に分散させ、遅れて到着するデータをサポートするようにデータレイアウトを再設計しました。これによりクエリーのパフォーマンスが最適化され、現在および新たなエージェント型AIのユースケースに対して、ほぼリアルタイムのアクセスが可能になります。

リキッドクラスタリングによるストリーミングデータ基盤の構築 

新しいアーキテクチャでは、最新のデータをクエリーでき、さまざまな顧客規模で一貫したクエリーパフォーマンスを提供し、クエリーが数秒で返されるようにすることが主な目標です。

再設計されたパイプラインはメダリオンアーキテクチャに従っており、まず継続的な Kafka の取り込みによって生のイベントデータがブロンズレイヤーに格納されます。その後、1時間ごとの構造化ストリーミングジョブが、ネストされたJSONペイロードをフラット化し、リキッドクラスタリングを使用してシルバーテーブルに書き込み、主要な分析基盤を形成します。ここで、ブロンズからシルバーへの変換では、スキーマ進化を処理し、派生した時間列を生成し、厳格なレイテンシ SLA が求められる下流の分析ワークロード向けにデータを準備します。

リキッドクラスタリングは、厳格なパーティショニング スキームを、クエリーパターンに合わせて調整されたワークロード認識型の多次元クラスタリング キー（具体的には、テナント識別子と日付の粒度、テーブルサイズ、データ到着の特性による）に置き換えました。データをより均等に分散させ、我々のインスタンスでは平均ファイルサイズを1GB以上に増加させることで、テーブルに対する一般的な時間枠指定クエリーでスキャンされるファイル数を劇的に削減しました。

詳細解説: 書き込み時のクラスター

さらに、当社の構造化ストリーミング ジョブは、書き込み時クラスタリングを活用して、新しいデータが到着する際にファイル レイアウトを維持します。これは局所的なOPTIMIZE操作のように機能し、新しく取り込まれたデータにのみクラスタリングを適用します。そのため、取り込まれたデータはすでに最適化されています。しかし、取り込みバッチが小さすぎる場合、適切にクラスタリングされた小さなファイルが多数生成され、理想的なデータlayoutを実現するためには、グローバルなOPTIMIZE中にそれらをさらにクラスタリングする必要があります。対照的に、取り込み時のバッチサイズがグローバルなOptimizeで必要とされるバッチサイズに近い場合、追加の最適化は多くの場合不要です。

テラバイト単位など、非常に大量のデータを取り込むワークロードについては、効率的なクラスタリングとファイルレイアウトを確保するため、maxBytesPerTrigger を指定した foreachBatch を使用するなど、ソースでのバッチ処理をお勧めします。maxBytesPerTrigger を使用すると、バッチサイズを制御でき、OPTIMIZE 操作による調整を必要とする多数の小さなクラスター化されたアイランドをなくすことができます。OPTIMIZE操作が扱うサイズに近いバッチにすることで、OPTIMIZEでさらに必要となる作業を削減するための最適なバッチを作成できました。

Arctic Wolf のセキュリティ アナリティクスへの影響

Arctic Wolfのリキッドクラスタリングへの移行は、パフォーマンス、データの鮮度、運用効率において、測定可能で大幅な改善をもたらしました。UCマネージドテーブルと予測的最適化により、メンテナンスをスケジュールする必要性も軽減されました。

ファイル数は400万以上から200万に減少し、良好なクラスター品質を維持しながら、クエリー中のファイルI/Oを最小限に抑えました。その結果、クエリーのパフォーマンスは劇的に向上し、セキュリティアナリストはインシデントをより迅速に調査できるようになりました。パーセンタイル全体で約 50% 高速化し、当社の多数の顧客で約 90% 高速化しました。90日間のクエリーは51秒から6.6秒に短縮されました。

書き込み時のクラスタリングを実装することで、データの鮮度を数時間から数分に短縮し、知見を得るまでの時間を約 90% 加速しました。この改善により、Arctic Wolfのデータレイクにおいてほぼリアルタイムの脅威検出が可能になります。

リキッドクラスタリングと Unity Catalog のマネージドテーブルに移行することで、従来のパーティショニングを排除し、技術的負債を削減し、高度なガバナンス機能とパフォーマンス機能を利用できるようになりました。毎日2600億行以上を処理およびクエリできるアーキテクチャにより、これらすべてのソースからの重要なセキュリティデータに対して、より高速で効率的なアクセスを提供します。24時間365日対応の Concierge Security® チームとリアルタイムの脅威検出を組み合わせることで、より迅速で正確な脅威への対応と緩和が可能になります。これらの差別化要因は、当社の顧客がより強力でアジャイルなセキュリティ体制を確立し、自社の環境を保護して継続的なビジネスの成功をサポートする Arctic Wolf の能力への信頼を高めるのに役立ちます。 

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事