マネージドAzureリソースへのアウトバウンドアクセスを包括的にカバーするAzure Private Linkの提供開始を発表！
Azure Private Linkは、DatabricksのサーバーレスおよびDatabricksモデル提供ワークロード向けに、60以上のAzureサービスで一般提供が開始されました。
によって ケリー・アルバーノ 、 アレックス・エシボフ による投稿
Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
Azure Private LinkがDatabricksサーバーレスおよびDatabricksモデル提供ワークロードでGAとなり、プライベートクラウド環境の利用が可能になりました！
これにより、Databricks SQL、Jobs、Notebooks、Delta Live Tables、Databricksモデル提供のCPU/GPUエンドポイントから、Azure Data Lake Storage（ADLS）やマネージドAzureリソースへのプライベート接続が可能になります。また、本日、Azure OpenAIやAzure SQLなど、60以上のAzureファーストパーティリソースへの新たなサポートも導入しました。今年初めに発表したDBSQLウェアハウスからAzure Storageへのプライベートリンクサポートに加え、さらに強化された内容となっています。
Azure Private Linkは、クラウドストレージやSQL DBなどへのアクセスで、パブリック公開なしに安全接続を提供し、プライベートクラウド運用を強化します。これによりプライベートクラウドでのデータアクセスがセキュアになります。この機能をすぐに試してみたい方は、Databricksアカウントコンソールにログインし、ネットワーク接続設定（NCC）ツールを使って数クリックで接続を構成できます。NCCやサーバーレスネットワークの仕組みに馴染みがない方は、ぜひ続きをお読みください！このブログでは、サーバーレスネットワーク接続の概要と、お客様が利用している主なユースケースを紹介します。
重要なお知らせとして、現在サーバーレスからのアウトバウンド接続に関するプライベートリンクのデータ処理料金は免除されています！
ネットワーク接続設定（NCC）でスケールに対応したシンプルなオンボーディングを実現
サーバーレスコンピュートは自動スケーリングや高速起動を提供し、プライベートクラウドでのセキュリティを多層的に強化します。これによりプライベートクラウド内で顧客データを安全に保護できます。データにアクセスする際、多くのお客様が専用かつプライベートな接続を求めています。
“Azure Private Linkを活用することで、サーバーレスコンピュートを通じて堅牢な環境分離を実現し、セキュリティと運用効率を向上させることができました。特に、モデル提供にAzure Private Linkを使用しており、専用かつプライベートな接続を提供することで、ネットワークセキュリティが大幅に向上しました。
”
— Vukola Milenkovic, Databricks Solution Manager, Erste Group
ネットワーク接続設定（NCC）ツールを使用すれば、Azure Private Linkの構成は簡単です。この集中管理ツールを使うことで、接続設定をマッピングして適用し、必要なプライベートエンドポイントの数を最小限に抑えることができます。サーバーレス製品やバックエンド接続のサポートが拡大する中、NCCはDatabricks導入環境全体で効率的かつシンプルにネットワーク管理を行うための主要なハブとして機能します。
NCCはリージョン単位の管理ツールで、プライベートクラウド環境全体を効率的にスケールさせる強力な機能です。これによりプライベートクラウドの統合管理が可能になります。
1つのアカウントで最大10個のNCCを作成でき、各NCCに50のワークスペースをマッピング可能です。NCCは論理ネットワークを表し、1つのNCC内で設定したプライベートエンドポイントを複数のワークスペースで再利用できます。さらに、すべてのサーバーレスワークロードがリソースにアクセスする際、同じエンドポイントを再利用します。
これにより、管理の簡素化、プライベートエンドポイントの時間あたりコスト削減、制限やクォータを気にせず多くのプライベートエンドポイントに対応できるスケーラビリティが実現します。
"Azure Databricksの高度なネットワーク機能は、大規模なサーバーレスのデータ変換や分析を安全かつ簡単に管理するためのソリューションを提供します。特に、ADLSやSQL Serverといった自社リソースへのPrivate Linkアクセスは、セキュリティ体制と運用に欠かせない要素です"
— Filippo Pannarella, Cyber Security Architecture and Engineering Lead, Plenitude
新たな可能性を解き放つ：Azure Private Linkとサーバーレスコンピュートの主なユースケース
Azure Private LinkがDatabricksサーバーレスコンピュートで一般提供されたことで、主要なAzureサービスと安全かつ革新的な接続方法が広がりました。以下は、お客様が設定している主なシナリオの一部をご紹介します:
Unity Catalogを介したモデルの登録と提供をPrivate Linkで実現
Unity Catalog (UC) のモデルをストレージアカウントからPrivate Link経由で登録および提供できます。これにより、すべての読み書き操作がプライベートに行われ、シームレスに機能します。さらに、モデルエンドポイントに対するリクエストとレスポンスを記録する機能である「推論テーブル」も、Private Linkを介してUCテーブルへのログ記録をサポートするようになりました。
Azure OpenAIを外部モデルとしてプライベート接続
DatabricksのサーバーレスコンピュートワークロードからAzure OpenAIに外部モデルを作成・アクセスできます。これにより、あたかもそのモデルがDatabricksネットワーク内に存在するかのように、プライベートで安全な接続が可能になります。この使用方法に興味がある場合は、Databricksへぜひお問い合わせください。
Azure SQLを利用したプライベートなLakehouseフェデレーション
多くの医療分野のお客様は、臨床データをAzure SQLに保存しています。Private LinkはLakehouseフェデレーションと連携し、このデータへ安全にアクセスできる環境を提供します。
はじめるには
Azure Private Linkは、Azure DatabricksのPremiumプランで利用可能です。Azureが提供するPrivate Link対応のマネージドサービスの一覧はこちらで確認できます。Databricksワークスペースでのプライベート接続を設定する手順については、ドキュメントをご参照ください。NCC（ネットワーク接続設定）の制限を超える設定が必要な場合は、Databricksにお問い合わせください。
2024年12月4日より、Databricksは外部リソースに接続するサーバーレスワークロードのネットワーキングコストを課金する予定です。ただし、Azure Private Linkを使用したサーバーレスのアウトバウンド接続に関しては、現在ネットワーキングコストの課金が予定されていません。このTCO（総所有コスト）のメリットは、AzureのファーストパーティおよびサードパーティリソースへのPrivate Linkサポートが拡大される中でも引き続き提供されます。
Databricksのセキュリティに関するベストプラクティスや利用可能な機能については、Security and Trust Centerをご覧ください。