数千万台のサーバーレスVMsへのDatabricksネットワーク構成の配信

概要

• Databricksのサーバーレスプラットフォームは毎日数千万台のVMを起動しており、各VMは顧客のワークロードを処理する前に、許可された接続先やプライベートエンドポイントなどのネットワーク設定を必要とします。各ノードが起動時に設定を取得し、稼働中に更新をポーリングするため、これは1日あたり数十億件のネットワーク設定リクエストに相当します。従来のアーキテクチャでは、これを複数のアップストリームサービスから同期的に取得していたため、レイテンシーと可用性のボトルネックが発生していました。
• 私たちは、イベント駆動型パイプラインとスナップショットの事前計算を使用してネットワーク設定の配信を再設計し、RPCレイテンシーを97.5%削減（5,000ms → 125ms）し、99.99%のサービス可用性を達成しました。

課題

Databricksのサーバーレスコンピュートプラットフォームは、SQLウェアハウス、ノートブック、MLサービングエンドポイントなど、当社のほぼすべてのデータおよびAI製品を支えています。このプラットフォームは、AWS、Azure、GCP全体で毎日数千万台のVMを起動しています。

サーバーレスワークロードを実行する前に、VMはそのネットワーク設定を把握する必要があります。どのストレージ接続先にアクセスできるか？トラフィックをルーティングすべきプライベートリンクエンドポイントはあるか？新しいストレージ接続先へのアクセスを許可するUnity Catalogの最近の変更はあるか？Delta Sharingを介して共有された新しい接続先の利用を開始するか？

課題は、ネットワーク設定が単一の場所に保存されていないことです。全体像の一部をそれぞれが提供する、複数のアップストリームサービスから組み立てる必要があります。

従来のアーキテクチャ

初期の設計では、サーバーレスクラスターが起動するたびに、ネットワーク設定サービスがすべてのアップストリームサービスを同期的に呼び出し、それらのレスポンスを集約し、ワークスペースごとのネットワーク設定を計算して、サーバーレスデータプレーンに返していました。これはクラスター作成のクリティカルパス上で行われていました。

従来のアーキテクチャはシンプルで、小規模なうちはうまく機能していましたが、運用ダッシュボードで追跡している以下のメトリクスに示されるように、根本的な問題を抱えていました。

1. レイテンシー：複数のアップストリームサービスがクリティカルパス上にあるため、ネットワーク設定を提供するRPCレイテンシーはp99で5,000msでした。これがサーバーレスクラスターの起動レイテンシーに影響を与えていました。
2. サーバー成功率：各アップストリームサービスには独自の可用性特性があります。複数のサービスが直列に接続されていると、複合可用性は急速に低下し、年間あたりのサーバーレスクラスターの起動失敗の可能性が高まります。

サーバーレスの利用が急速に拡大し続けるにつれて、同期モデルの維持はますます困難になりました。各同期呼び出しは、すべてのワークスペースにわたって負荷の高い処理をトリガーし、しばしば重複した計算を行っていました。これにより、テナント数や設定されたリソースの数に比例して増加する負荷が加わりました。

解決策：イベント駆動型の事前計算

私たちは、Databricksがネットワーク設定を配信する方法を根本から再設計しました。これは以下のコア原則に基づいています。

1. イベント駆動型パイプライン：すべてのアップストリームサービスに同期呼び出しを行う代わりに、新しいシステムはメッセージキューを介して変更イベントをサブスクライブします。顧客が新しいUnity Catalog接続を作成したり、ネットワークポリシーを変更したりすると、アップストリームサービスがイベントを発行します。システムはそれを処理し、事前計算された設定を更新します。
2. スナップショットの事前計算：ネットワーク設定はバックグラウンドで非同期に計算され、事前計算されたスナップショットストアに保存されます。配信パスは、アップストリームサービスから完全に分離された、単一の軽量なストレージ取得になります。
3. 静的安定性：アップストリームサービスで障害が発生した場合でも、静的な設定を維持できるため、サーバーレスクラスターに静的安定性を提供できます。

このアーキテクチャは、2つのパスを明確に分離しています。管理パスはバックグラウンドで非同期に実行されます。アップストリームサービスが変更イベントをメッセージキューに発行し、イベントプロセッサがそれを消費して影響を受けるワークスペースを特定し、ワークスペースごとの更新通知をファンアウト（一斉配信）します。その後、ローカルイベントマネージャーがアップストリームから関連する詳細を取得し、ワークスペースのネットワーク設定を再計算して、その結果を事前計算されたスナップショットストアに保存します。また、定期的なリコンサイラーがバックグラウンドですべてのワークスペースを再同期し、イベントが失われた場合でも最終的な一貫性を保証します。対照的に、配信パスはクリティカルかつ高速です。サーバーレスクラスターが起動してネットワーク設定が必要になると、ネットワーク設定サービスはアップストリームサービスを呼び出すことなく、単一のストレージ読み取りでスナップショットストアから直接設定を提供するため、アップストリームサービスへの負荷を大幅に軽減します。

主な設計上の決定

• アップストリームサービスは変更イベントをメッセージキューにプッシュします。システムはこれらのイベントをバックグラウンドで処理します。セーフティネットとして、低頻度のリコンサイラーが定期的にすべてのワークスペースを再同期し、プッシュの効率性と同期フレームワークの信頼性を両立させています。
• ネットワーク設定は、サービスを提供するワークスペースと同じ場所に配置された、各サービスパーティション内でローカルに計算および保存されます。これにより、計算が分散され、障害発生時の影響範囲が縮小され、配信パスにおけるパーティション間の依存関係が排除されます。
• イベントにはワークスペースとリソースの識別子のみが含まれます。これにより、イベントが軽量に保たれ、べき等性（任意の順序で再実行可能）が確保され、メッセージングパイプラインを介した機密性の高い顧客データの転送を回避できます。

イベントの流れ

顧客が新しいUnity Catalog接続を作成すると、Unity Catalogは変更イベントをメッセージキューに発行します。その後、イベントプロセッサがイベントを受信し、影響を受けるメタストアにどのワークスペースがアタッチされているかを判断し、ワークスペースごとの更新通知をファンアウトします。各ワークスペースのパーティションでは、イベントマネージャーがこの通知を受信し、更新された接続の詳細を取得し、ワークスペースのネットワーク設定を再計算して、新しいバージョンマークを付けて保存します。それ以降、サーバーレスクラスターがネットワーク設定をリクエストすると、アップストリームの呼び出しを必要とせず、スナップショットストアから直接提供されます。

効果

新しいアーキテクチャの導入後、すべての運用メトリクスにわたって劇的な変化が見られました。

主要なメトリクス以外にも、以下の効果がありました。

1. アップストリームの呼び出し量が86%削減されました。システムは、すべてのリクエストごとではなく、イベントが変更を示したときにのみアップストリームサービスを呼び出します。
2. ネットワーク設定の最新性において、大幅な改善が見られました。
3. レガシーな同期フレームワークは完全に廃止されました。

まとめ

このプロジェクトは、クラウドスケールでネットワークインフラを運用することについて、いくつかの教訓を私たちに与えてくれました。

事前計算はクリティカルパスを分離します。負荷の高い集約処理をバックグラウンドに移動することで、配信パスは非常にシンプルかつ高速になります。これは、最も大きな影響を与えた単一のアーキテクチャ上の決定です。これにより、複数サービスにわたる依存関係の連鎖が、単一のストレージ読み取りへと変わりました。

イベント駆動型アーキテクチャは、一貫性と引き換えにスケーラビリティを向上させ、リコンサイルがセーフティネットを提供します。イベントベースのプッシュは一般的なケースを効率的に処理し、定期的なリコンサイラーが漏れたものをすべてキャッチします。

初日から拡張性を考慮して設計すること。モジュール化されたステージベースのアーキテクチャにより、新しいアップストリームデータソースのサポートを追加するには、コアパイプラインを変更することなく、新しいステージの実装を追加するだけで済みます。Databricksの製品領域が拡大するにつれて、ネットワーク設定システムもそれに合わせてスケールします。

現在、このシステムはDatabricksのグローバルなサーバーレスフリート全体で1日あたり数十億件のネットワーク設定リクエストを処理しており、レイテンシーは約125ms、可用性は99.99%に達しています。サーバーレスコンピュートが急速な成長を続ける中、イベント駆動型アーキテクチャは、ネットワーク設定の配信がそれに完全に追従してスケールすることを保証します。

私たちは、グローバル規模で分散システムの課題に挑戦することを楽しめるエンジニアを常に募集しています。このような課題にワクワクする方は、ぜひご連絡ください。databricks.com/careers で現在募集中の職種をチェックしてみてください！

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事