サーバーレスおよびモデルサービングワークロード向けエグレス制御機能が利用可能に

DatabricksのサーバーレスおよびDatabricks Model Servingワークロード向けのエグレス制御 が、AWSおよびAzureでパブリックプレビューとして提供開始されたことをお知らせします！

これにより、複数の製品やワークスペースにわたるサーバーレスワークロードからのアウトバウンドアクセスを一元的に制御するポリシーを設定できるようになりました。

サーバーレスイグレス制御を使用することで、Databricksのサーバーレス機能の柔軟性とコスト効率を活かしながら、データの不正転送先への流出から保護することができます。

今回のリリースにより、Model Serving、ノートブック、ワークフロー、Delta Live Tables（DLT）パイプライン、Lakehouseモニタリング、Databricks SQL、Databricks Appsでサーバーレスエグレス制御が利用可能になります。

Databricksサーバーレスエグレス制御のメリット

データセキュリティを強化する

サーバーレスのエグレス制御は、セキュアなDatabricks環境からの不正なデータ転送のリスクを減少させるのに役立ちます。エグレスポリシーを設定することで、データが盗まれたり不適切に共有されたりするリスクを低減できます。これにより、データはインターネット上またはクラウド環境内の承認された外部ロケーションにのみ送信されることを確認できます。

意図しないデータ転送コストを最小化する

監視されていないインターネットへのデータ転送は、予期しない大きなエグレス料金をすぐに引き起こす可能性があります。データが承認された宛先にのみ送信されることを確実にすることで、ネットワークコストをより予測し、管理できるようになります。

規制遵守を担保する

金融、医療、政府など、厳格なデータガバナンスとコンプライアンス要件がある業界では、データがコンプライアンスを満たす環境でのみ処理されることを確認することが絶対条件です。サーバーレスのエグレス制御は、データがインターネットや不許可のネットワークエンドポイントから隔離された環境でのみ処理されることを確認し、コンプライアンス目標を達成するのに役立ちます。

Abacus Insightsでは、ヘルスケア向けのデータ管理と分析の効率化を目指し、HIPAAおよびHITRUSTへの厳格な準拠が求められます。サーバーレス出口制御とDatabricks Model ServingでのLlama 3モデルの使用により、データが当社の環境内に留まることを確実にできます。このアプローチにより、AIユースケースにおいてサーバーレスコンピューティングのパフォーマンスと柔軟性を享受しながら、セキュリティとコンプライアンスの義務を満たすことができます。」 – Navdeep Alam, Abacus Insights チーフテクノロジーオフィサー

サーバーレスのエグレス制御の仕組み

細かなエグレスポリシーを簡単に設定する

サーバーレスエグレス制御は、アカウントコンソールでネットワークポリシーオブジェクトを作成または更新することによって設定できます。アカウントコンソール内のネットワークポリシーオブジェクトを作成または更新することで、サーバーレスのエグレス制御を設定することができます。ネットワークポリシー内では、マクロエグレスポスチャー（つまり、ワークロードが完全なインターネットアクセスを持つか、制限されたインターネットアクセスを持つか）を定義することができます。制限されたアクセスのために、ワークロードがアクセスできる完全修飾ドメイン名（FQDN）とクラウドストレージリソースのリストを定義することができます。

ポリシーは、すべてのサポートされているサーバーレス製品に一貫して適用されます。さらに細かなルール設定を簡素化するために、サーバーレスエグレス制御はUnity Catalogで定義されたロケーションや接続へのアクセスを自動的に許可します。

エグレス設定を一元管理し、運用をスケールさせる

各Databricksアカウントには、アカウント内のすべてのワークスペースに関連付けられたデフォルトのネットワークポリシーを定義するデフォルトポリシーオブジェクトがあります。既存のワークスペースや新しいワークスペースに対して、デフォルトのエグレスルールを更新することで設定できます。また、デフォルトポリシーを完全に上書きするために、追加のネットワークポリシーオブジェクトを作成し、それを1つ以上のワークスペース（AWS, Azure）に関連付けることもできます。

これにより、本番、開発、評価などの環境ごとに異なるポリシーを作成し、すべてのワークスペースでそれぞれのポリシーを適用することで、ワークスペース全体のエグレス設定を一元管理できます。

すべてのポリシー違反を監査し、デバッグする

サーバーレス出口制御ポリシーは、接続が確立された時点で適用されます。

すべての拒否イベントは、outbound_networkシステムテーブル内のsystem.accessスキーマに記録されます。以下は、過去1時間の拒否イベントをリストするためのクエリ例です：

既存の本番ワークロードに対して安全にエグレス制御ポリシーを適用する

サーバーレスエグレス制御では、ポリシーの適用モードという概念をサポートしています。適用モードは「強制（enforced）」または「ドライラン（dry-run）」のいずれかに設定できます。

強制モードでは、ポリシーに違反するアウトバウンド接続が拒否され、その拒否がoutbound_networkシステムテーブルに記録されます。一方、ドライランモードでは、ポリシーに違反するアウトバウンド接続は許可されますが、違反はnetwork_outboundシステムテーブルにドライランとして記録されます。

ポリシーをドライランモード（以前は「ログオンリー」と呼ばれていました）に設定することができます。この設定はすべての製品に適用することも、Databricks SQLやModel Serving製品に特定して設定することも可能です。本番環境にDatabricks SQLやModel Servingワークロードがある場合、既存の本番環境への影響を避けるため、まずポリシーをドライランモードに設定することをお勧めします。

使い始めるには

サーバーレスエグレス制御は、AWSのDatabricksエンタープライズティアおよびAzure Databricksのプレミアムティアで利用できます。サーバーレスエグレス制御ポリシーを設定するには、Databricksアカウントの管理者である必要があります。ポリシー設定の詳細な手順については、AWSおよびAzureのドキュメンテーションをご覧ください。

もしアカウントでサーバーレスコンピューティングが有効になっていない場合は、AWSまたはAzureの手順に従って設定できます。また、Databricks Security and Trust Centerでセキュリティベストプラクティスをご確認いただき、デプロイ時に考慮すべき他のプラットフォームセキュリティ機能についてもご確認ください。

初回割引を活用しよう
ジョブおよびパイプライン向けサーバーレスコンピューティングが50％オフ、ノートブックが30％オフになるキャンペーンを、2025年4月30日まで実施中です。この期間限定オファーは、コストを抑えながらサーバーレスコンピューティングを試す絶好の機会です。