Databricks SQL Serverless向けのAzure Private LinkとAzure Storageファイアウォールの一般提供についてのお知らせ

2024年4月に予定されているDatabricks SQL (DBSQL) ServerlessのAzure Private Linkサポートの一般提供を、追加料金なしでご利用いただけることをお知らせいたします。 また、安定した VNet サブネット ID による Azure Storage ファイアウォールのサポートが DBSQL Serverless で一般的に利用できるようになったことを発表できることを嬉しく思います。 このブログでは、DatabricksサーバーレスからAzure Storageアカウントのデータに安全にアクセスするための、2つの機能の概要と関連するベストプラクティスを紹介します。

Azure Databricksのサーバーレスネットワーク接続機能を使用して、パフォーマンスを最大化し、ワークスペースを保護します。

Databricks Data Intelligence Platformは、既存のAzure Storageアカウントに保存されているデータを引き続き活用しながら、Trust Centerで詳しく説明されているように、強力な多層分離と組み込みのベストプラクティスによって堅牢なセキュリティを提供します。 この基盤の上で、DBSQL Serverless ワークロードを Azure Storage アカウントに安全に接続するための 2 つのオプションを提供します：

1. 安定したVNetサブネットIDに基づいてアクセスを許可するAzure Storageファイアウォールの構成
2. ストレージアカウントへのプライベートリンクを使用するようにプライベートエンドポイントを設定します。

下図は、サーバーレス用のAzure Databricksアカウントへの接続と、アカウントからの接続を示しています。 このブログでは、DBSQL Serverless ワークロードと Azure ストレージ間の接続の保護に焦点を当てます。

サーバーレス向けのAzure Private LinkはまもなくGAとなり、追加費用なしで利用できます。

多くのお客様と同様に、プライベート・エンドポイントを経由して仮想ネットワーク・トラフィック上のリソースにアクセスできるようにするコンプライアンスやガバナンスの要件がある場合があります。 このようなシナリオでは、ストレージアカウントのプライベートエンドポイントを作成して管理し、指定したワークスペース内のサーバーレスワークロードからプライベートエンドポイントへのアクセスを許可できるようになりました。

Azure Databricksでのサーバーレス向けPrivate Linkの一般提供開始の一環として、Databricks SQLサーバーレスワークロードからのPrivate Link接続が追加料金なしで利用できるようになることをお知らせします！ その結果、Azure Databricks 上の DBSQL Serverless の TCO が大幅に向上します。 また、Azure Databricksサーバーレス製品やAzureリソースタイプのサポートが追加されても、Private Link接続の追加料金は発生しません。

"Azure Databricksの高度なネットワーキング機能は、サーバーレスデータ変換とアナリティクスを大規模に管理する際のセキュリティとシンプルさを提供します。" - ジョナス・カーデル、SJ ABデータサイエンス・リード

安定したVNetサブネットIDによるAzure Storageファイアウォールのサポート

Private Linkを使用しない場合でも、Azure Storageアカウント内のデータへのアクセスを、許可されたネットワーク上で実行される許可されたワークロードのみにロックする要件がある可能性があります。 Azure Storageファイアウォールでは、許可されたVNetサブネットIDからStorageアカウントにアクセスするクライアントのみにアクセスを制限できます。 このGAでは、Azure VNets内の安定したサブネットのリストを使用してストレージにアクセスするようにDatabricksを設定できます。 このサブネットIDのリストを製品で直接取得し、Azure Storageのファイアウォールルールに追加してアクセスを管理できます。 この機能とUnity Catalogを組み合わせることで、適切なManaged Identityへのアクセス権を持つ許可されたワークロードのみがストレージ内のデータにアクセスできるように、レイヤー化された保護が提供されます。

多数のワークスペースでサーバーレスのネットワーク接続を簡単に管理

ネットワーク接続設定（NCC）を使用すると、ネットワーク接続を簡単かつ一元的に管理できます。 NCCを使用すると、複数のワークスペースに接続設定をマッピングできるため、管理する必要があるプライベートエンドポイントの数を減らすことができ、管理が簡素化されます。 NCCは、当社のサーバーレス製品全般の接続を管理する単一拠点であり続けます。

Azure Databricksでサーバーレスネットワーク接続をはじめましょう

Azure StorageのファイアウォールサポートとAzure Private Linkは、Azure DatabricksのPremium Tierバージョンで利用できます。 DatabricksワークスペースのNCCおよびAzure Storageファイアウォールサポートを構成するためのステップバイステップの手順については、当社のドキュメントを参照してください。 Azure PrivateLinkの登録方法については、Azure Databricksアカウントチームにお問い合わせください。 私たちは、Azure DatabricksサーバーレスのAzure Private Linkサポートを2024年4月に一般利用可能にする予定です。

Databricks のセキュリティのベストプラクティスとお客様が利用できる機能の詳細については、セキュリティとトラストセンターをご覧ください。