Azure Private LinkがDatabricksサーバーレスおよびMosaic AIモデル提供ワークロード向けに一般提供（GA）となったことをお知らせします！
これにより、Databricks SQL、Jobs、Notebooks、Delta Live Tables、Mosaic AIモデル提供のCPU/GPUエンドポイントから、Azure Data Lake Storage（ADLS）やマネージドAzureリソースへのプライベート接続が可能になります。また、本日、Azure OpenAIやAzure SQLなど、60以上のAzureファーストパーティリソースへの新たなサポートも導入しました。今年初めに発表したDBSQLウェア ハウスからAzure Storageへのプライベートリンクサポートに加え、さらに強化された内容となっています。
Azure Private Linkは、クラウドストレージ、シークレット、SQLデータベース、AIモデルなどの顧客リソースへのアウトバウンドアクセスにおいて、パブリックインターネットに接続を公開することなく、直接で安全な接続を提供します。この機能をすぐに試してみたい方は、Databricksアカウントコンソールにログインし、ネットワーク接続設定（NCC）ツールを使って数クリックで接続を構成できます。NCCやサーバーレスネットワークの仕組みに馴染みがない方は、ぜひ続きをお読みください！このブログでは、サーバーレスネットワーク接続の概要と、お客様が利用している主なユースケースを紹介します。
重要なお知らせとして、現在サーバーレスからのアウトバウンド接続に関するプライベートリンクのデータ処理料金は免除されています！
ネットワーク接続設定（NCC）でスケールに対応したシンプルなオンボーディングを実現
サーバーレスコンピュートは、高速な起動時間、自動スケーリング、パフォーマン ス向上といった多くの利点を提供します。また、複数レイヤーでのセキュリティを備えているため、顧客データを安全に保護します。データにアクセスする際、多くのお客様が専用かつプライベートな接続を求めています。
“Azure Private Linkを活用することで、サーバーレスコンピュートを通じて堅牢な環境分離を実現し、セキュリティと運用効率を向上させることができました。特に、モデル提供にAzure Private Linkを使用しており、専用かつプライベートな接続を提供することで、ネットワークセキュリティが大幅に向上しました。
”
— Vukola Milenkovic, Databricks Solution Manager, Erste Group
ネットワーク接続設定（NCC）ツールを使用すれば、Azure Private Linkの構成は簡単です。この集中管理ツールを使うことで、接続設定をマッピングして適用し、必要なプライベートエンドポイントの数を最小限に抑えることができます。サーバーレス製品やバックエンド接続のサポートが拡大する中、NCCはDatabricks導入環境全体で効率的かつシンプルにネットワーク管理を行うための主要なハブとして機能します。
NCCはリージョンごとのアカウントレベルオブジェクトであり、企業のニーズに応じてスケールする強力なツールです。
1つのアカウントで最大10個のNCCを作成でき、各NCCに50のワークスペースをマッピング可能です。NCCは論理ネットワークを表し、1つのNCC内で設定したプライベートエンドポイントを複数のワークスペースで再利用できます。さらに、すべてのサーバーレスワークロードがリソースにアクセスする際、同じエンドポイントを再利用します。
これにより、管理の簡素化、プライベートエンドポイントの時間あたりコスト削減、制限やクォータを気にせず多くのプライベートエンドポイントに対応できるスケーラビリティが実現します。
"Azure Databricksの高度なネットワーク機能は、大規模なサーバーレスのデータ変換や分析を安全かつ簡単に管理するためのソリューションを提供します。特に、ADLSやSQL Serverといった自社リソースへのPrivate Linkアクセスは、セキュリティ体制と運用に欠かせない要素です"
— Filippo Pannarella, Cyber Security Architecture and Engineering Lead, Plenitude
新たな可能性を解き放つ：Azure Private Linkとサーバーレスコンピュートの主なユースケース
Azure Private LinkがDatabricksサーバーレスコンピュートで一般提供されたことで、主要なAzureサービスと安全かつ革新的な接続方法が広がりました。以下は、お客様が設定している主なシナリオの一部をご紹介します:
Unity Catalogを介したモデルの登録と提供をPrivate Linkで実現
Unity Catalog (UC) のモデルをストレージアカウントからPrivate Link経由で登録および提供できます。これにより、すべての読み書き操作がプライベートに行われ、シームレスに機能します。さらに、モデルエンドポイントに対するリクエストとレスポンスを記録する機能である「推論テーブル」も、Private Linkを介してUCテーブルへのログ記録をサポートするようになりました。
Azure OpenAIを外部モデルとしてプライベート接続
DatabricksのサーバーレスコンピュートワークロードからAzure OpenAIに外部モデルを作成・アクセスできます。これにより、あたかもそのモデルがDatabricksネットワーク内に存在するかのように、プライベートで安全な接続が可能になります。この使用方法に興味がある場合は、Databricksへぜひお問い合わせください。
Azure SQLを利用したプライベートなLakehouseフェデレーション
多くの医療分野のお客様は、臨床データをAzure SQLに保存しています。Private LinkはLakehouseフェデレーションと連携し、このデータへ安全にアクセスできる環境を提供します。
はじめるには
Azure Private Linkは、Azure DatabricksのPremiumプランで利用可能です。Azureが提供するPrivate Link対応のマネージドサービスの一覧はこちらで確認できます。Databricksワークスペースでのプライベート接続を設定する手順については、ドキュメントをご参照ください。NCC（ネットワーク接続設定）の制限を超える設定が必要な場合は、Databricksにお問い合わせください。
2024年12月4日より、Databricksは外部リソースに接続するサーバーレスワークロードのネットワーキングコストを課金する予定です。ただし、Azure Private Linkを使用したサーバーレスのアウトバウンド接続に関しては、現在ネットワーキングコストの課金が予定されていません。このTCO（総所有コスト）のメリットは、AzureのファーストパーティおよびサードパーティリソースへのPrivate Linkサポートが拡大される中でも引き続き提供さ れます。
Databricksのセキュリティに関するベストプラクティスや利用可能な機能については、Security and Trust Centerをご覧ください。
