サーバーレス最適化アーティファクトレジストリが毎日数千万のコンテナイメージをダウンロードしています！

序章

このブログでは、ゼロからサーバーレス最適化アーティファクトレジストリを構築する旅を共有します。主な目標は、予測不能で突発的なサーバーレスのトラフィックに対してコンテナイメージの配布がシームレスにスケールし、主要な依存関係の障害などの困難なシナリオでも利用可能であることを確保することです。

コンテナは、分離、移植性、豊富なツールエコシステムを特徴とする現代のクラウドネイティブなデプロイメント形式です。Databricksの内部サービスは、2017年からコンテナとして稼働しています。私たちは、成熟した機能豊富なオープンソースプロジェクトをコンテナレジストリとしてデプロイしました。サービスは一般的にコントロールされたペースでデプロイされるため、うまく機能しました。

2021年になると、DatabricksはServerless DBSQLとModelServing製品を立ち上げ始め、毎日何百万ものVMがプロビジョニングされることが予想され、各VMはコンテナレジストリから10以上のイメージを引き出すことになります。他の内部サービスとは異なり、Serverlessのイメージプルトラフィックは顧客の使用によって駆動され、はるかに高い上限に達することができます。

図1は1週間のプロダクショントラフィック負荷（例えば、新たにデータウェアハウスやMLサービングエンドポイントを立ち上げる顧客)が、サーバーレスデータプレーンのピークトラフィックが内部サービスの100倍以上であることを示しています。

ストレステストの結果、オープンソースのコンテナレジストリはサーバーレスの要件を満たすことができないと結論付けました。

サーバーレスの課題

図2は、オープンソースのコンテナレジストリを使用してServerlessのワークロードを提供する際の主な課題を示しています：

• Databricksの成長に追いつくのが難しい：
  • コンテナイメージのメタデータは、垂直に、そしてゆっくりとスケールするリレーショナルデータベースによってバックアップされています。
  • ピーク時のトラフィックでは、数秒で数千のレジストリインスタンスをプロビジョニングする必要があり、これが画像の取得のクリティカルパス上のボトルネックとなることがよくあります。
• 十分に信頼性がない:
  • OSSベースのアーキテクチャではリクエストの処理が複雑で、より多くの障害モードが導入されます。
  • 関係データベースやクラウドオブジェクトストレージなどの依存関係がダウンすると、地域全体で完全に停止します。
• 運用コストが高い: OSSレジストリはパフォーマンス最適化されておらず、リソース使用量（CPU集中型）が高い傾向があります。Databricksのスケールでそれらを実行するのは禁じ手です。

クラウド管理のコンテナレジストリはどうでしょうか？一般的にはよりスケーラブルで、可用性SLAを提供します。ただし、異なるクラウドプロバイダのサービスは、クォータ、制限、信頼性、スケーラビリティ、パフォーマンス特性が異なります。Databricksは複数のクラウドで動作しますが、クラウドの異質性が要件を満たさず、運用コストが高すぎると判断しました。

ピアツーピア（P2P）イメージ配布は、別のインフラストラクチャ層でスケーラビリティを向上させるための一般的なアプローチです。主にレジストリメタデータへの負荷を軽減しますが、前述の信頼性リスクに依然として影響を受けます。また、クラウドストレージの出力スループットを減らすために、後でP2Pレイヤーも導入しました。Databricksでは、全体のスタックの信頼性を提供するために、各レイヤーを最適化する必要があると考えています。

アーティファクトレジストリの紹介

要件を満たし、Databricksの急速な成長に先んじるためには、サーバーレス最適化レジストリを構築する必要があると結論付けました。したがって、私たちはArtifact Registry - 自家製のマルチクラウドコンテナレジストリサービスを構築しました。アーティファクトレジストリは、以下の原則に基づいて設計されています：

1. すべてが水平にスケールします：
   • リレーショナルデータベース（PostgreSQL）を削除し、代わりにメタデータはクラウドオブジェクトストレージ（イメージマニフェストとレイヤーのストレージの既存の依存関係）に永続化されました。クラウドオブジェクトストレージははるかにスケーラブルで、クラウド間でよく抽象化されています。
   • キャッシュインスタンス（Redis）を削除し、それをシンプルなインメモリキャッシュに置き換えました。
2. 数秒でのスケーリングアップ/ダウン: イメージマニフェストとblobリクエストのキャッシングを大幅に追加し、遅いコードパス（レジストリ）にヒットするのを減らしました。結果として、数百のインスタンスを追加する代わりに、数秒でプロビジョニングされた数個のインスタンスが必要となります。
3. シンプルは信頼性がある： 3つのオープンソースマイクロサービス（nginx、メタデータサービス、レジストリ）を一つのサービス、アーティファクトレジストリに統合しました。これにより、2つの追加ネットワーキングホップが削減され、パフォーマンス/信頼性が向上します。

図3に示すように、私たちは基本的に5つのサービスからなる元のシステムを、リクエストを提供するロードバランサーの背後にある一連のステートレスインスタンスというシンプルなウェブサービスに変換しました！

図4と5は、オープンソースレジストリからArtifact Registryへの移行後、P99遅延が90％以上、CPU使用率が80％減少したことを示しています。今では、以前の数千に対して同じ負荷のために数個のインスタンスをプロビジョニングするだけで済みます。実際には、生産ピーク時のトラフィックを処理するためには、ほとんどの場合、スケールアウトは必要ありません。オートスケーリングがトリガーされた場合、数秒で完了できます。

主な設計決定は、イメージメタデータのためのリレーショナルデータベースを完全にクラウドオブジェクトストレージに置き換えることです。リレーショナルデータベースは一貫性と豊富なクエリ機能に理想的ですが、スケーラビリティと信頼性に制限があります。例えば、すべてのイメージプルリクエストには認証/承認が必要で、これはオープンソースの実装ではPostgreSQLによって提供されていました。トラフィックの急増は定期的にパフォーマンスの問題を引き起こします。authによって使用されるルックアップクエリは、よりスケーラブルなキー/バリューストレージのGET操作で簡単に置き換えることができます。また、便利さと信頼性の間で慎重なトレードオフを行いました。例えば、リレーショナルデータベースを使用すると、異なる次元でグループ化したイメージの数や合計サイズを簡単に集計することができます。しかし、このような機能をオブジェクトストレージでサポートすることは容易ではありません。信頼性とスケーラビリティを重視し、Artifact Registryがこのような統計をサポートしないように決定しました。

クラウドオブジェクトストレージの停止を生き抜く

関係データベース、リモートキャッシング、内部マイクロサービスの依存性を排除してサービスの信頼性が大幅に向上したにもかかわらず、まだたまに発生する障害モードがあります：クラウドオブジェクトストレージの停止。クラウドオブジェクトストレージは一般的に非常に信頼性が高く、スケーラブルですが、利用できない場合（時には数時間にわたって）、地域的な停電を引き起こす可能性があります。Databricksは、基盤のクラウドの停止の影響を最小限に抑え、お客様に対するサービスを続けるために、信頼性に高い基準を設けています。

アーティファクトレジストリは地域サービスであり、それぞれのクラウド/地域には地域内に同一のレプリカがあります。この設定により、イメージダウンロードのレイテンシとエグレスコストをトレードオフに、異なる地域にフェイルオーバーする能力を得ることができます。レイテンシと容量を慎重に調整することで、クラウドプロバイダの停電から迅速に回復し、Databricksの顧客に対するサービスを続けることができました。

まとめ

このブログ投稿では、Databricksのコンテナレジストリを、低チャーンの内部トラフィックから、顧客向けの突発的なサーバーレスワークロードに対応するまでの経緯を共有しました。私たちは、サーバーレスに最適化されたArtifact Registryを特別に構築しました。オープンソースのレジストリと比較して、P99レイテンシが90％、リソース使用率が80％削減されました。さらに、システムは地域のクラウドプロバイダの停止に耐えるように設計され、信頼性がさらに向上しました。今日でも、アーティファクトレジストリは、Databricksの急速なサーバーレス成長の中で、信頼性、スケーラビリティ、効率性をシームレスに実現する堅固な基盤となっています。

謝辞

信頼性とスケーラビリティのあるサーバーレスインフラストラクチャの構築は、主要な貢献者であるRobert Landlord、Tian Ouyang、Jin Dong、Siddharth Guptaのチーム努力です。このブログもチームの作業です - Xinyang GeとRohit Jnagalが提供した洞察に富むレビューに感謝します。