Azure Databricks から Azure データソースへの安全なアクセス

Azure Databricks は、Microsoft Azure Cloud の一部である統合データ分析プラットフォームです。Delta Lake、MLFlow、Koalas、Apache Spark を基盤として構築された Azure Databricks は、Microsoft Azure クラウドのファーストパーティサービスであり、ワンクリックセットアップ、他の Azure サービスとのネイティブ統合、インタラクティブワークスペース、エンタープライズグレードのセキュリティを提供し、小規模から大規模なグローバル顧客のデータ＆AIユースケースを強化します。このプラットフォームにより、データエンジニア、データサイエンティスト、データアナリスト、SecOps / クラウドエンジニアなど、あらゆるエンタープライズのさまざまなデータ担当者間の真のコラボレーションが可能になります。

このブログは 2 部構成の最初の記事で、Azure Databricks のアーキテクチャの概要と、顧客が独自の管理インスタンスの Azure データサービスに安全に接続する方法について説明します。

Azure Databricks アーキテクチャの概要

Azure Databricks は、Azure クラウド上のマネージドアプリケーションです。ハイレベルでは、アーキテクチャはコントロール/管理プレーンとデータプレーンで構成されます。コントロールプレーンは Microsoft が管理するサブスクリプションに常駐し、Web アプリケーション、クラスターマネージャー、ジョブサービスなどのサービスをホストします。デフォルトのデプロイメントでは、データプレーンはお客様のサブスクリプション内の完全に管理されたコンポーネントであり、VNET、NSG、および DBFS として知られるルートストレージアカウントが含まれます。

データプレーンは、SecOps およびクラウドエンジニアリングチームがエンタープライズガバナンスポリシーに従ってサービス用のセキュリティとネットワークアーキテクチャを構築できるように、顧客管理の VNET にデプロイすることもできます。この機能は Bring Your Own VNET または VNET Injection と呼ばれます。この図は、そのような顧客アーキテクチャの代表的なビューを示しています。

Azure データサービスへのセキュアな接続

エンタープライズセキュリティは、Databricks と Microsoft の両方でソフトウェアを構築する上での中核的な原則であり、Azure Databricks ではファーストクラスの市民として考慮されています。このブログの文脈では、セキュアな接続とは、Azure Databricks から Azure データサービスへのトラフィックが Azure ネットワークバックボーン上に留まることを保証し、Azure Databricks を許可されたソースとしてホワイトリストに登録できるという固有の機能です。セキュリティのベストプラクティスとして、顧客が Azure Blob Storage、Azure Data Lake Store Gen2、Azure Synapse Data Warehouse、Azure CosmosDB などの Azure データサービスへのデータアクセスメカニズムを確立するために使用できるいくつかのオプションをお勧めします。Azure Private Link と Service Endpoints に関する議論については、さらに読み進めてください。

オプション 1: Azure Private Link

Private Link を構成することが、Azure Databricks から Azure データサービスにアクセスする最も安全な方法です。Azure のドキュメントによると、Private Link を使用すると、Azure PaaS サービス（例: Azure Storage、Azure Cosmos DB、SQL Database）および Azure でホストされている顧客/パートナーサービスに、お使いの Private Endpoint を介して、お使いの virtual network からアクセスできます。virtual network とサービス間のトラフィックは Microsoft ネットワークバックボーンを通過するため、パブリックインターネットへの露出がありません。また、お使いの virtual network 内に独自の Private Link Service を作成し、顧客にプライベートに配信することもできます。Azure Private Link を使用したセットアップと利用のエクスペリエンスは、Azure PaaS、顧客所有、および共有パートナーサービス全体で一貫しています。詳細については、こちらを参照してください。

Azure Databricks と Private Link を連携させて使用する方法を以下に示します。

Azure Databricks と Azure データサービスの Private Endpoint が異なる VNET に存在

Azure Databricks と Azure データサービスの Private Endpoint が同じ VNET に存在

Private Endpoint の考慮事項

Private Endpoint を実装する前に、次の点を考慮してください。

• デフォルトでデータ漏洩から保護します。Azure Databricks の場合、これは顧客がコントロールプレーン内の特定のサービスへのアクセスをホワイトリストに登録した後に適用されます。
• トラフィックは Azure ネットワークバックボーン上に維持されます。つまり、パブリックネットワークはデータフローには使用されません。
• Virtual Network のプライベートアドレス空間を Azure データサービスに拡張します。つまり、Azure データサービスは事実上、お使いの VNET のいずれかにプライベート IP を持ち、より大きなプライベートネットワークの一部として扱われます。
• 他のリージョンの Azure データサービスにプライベートに接続します。つまり、リージョン A の VNET は Private Link を介してリージョン B のエンドポイントに接続できます。
• Private Link は、他のセキュアなアクセスメカニズムと比較して、セットアップがやや複雑です。
• Private Link のメリットとサービスごとの可用性の詳細なリストについては、ドキュメントを参照してください。

Private Link を使用できる例としては、顧客が本番環境で Azure Databricks と共に Blob Storage、ADLS Gen2、SQL DB などの Azure データサービスをいくつか使用しており、ビジネス上、ユーザーには ADLS Gen2 からマスクされた集計データをクエリさせたいが、他のデータソースのマスクされていない機密データへのアクセスは制限したい場合などがあります。その場合、上記いずれかのサブオプションを使用して、ADLS Gen2 サービスのみに対して Private Endpoint を設定できます。

このような環境を構成する方法は次のとおりです。

1 - ADLS Gen2 の Private Link をセットアップする

2 - VNET に Azure Databricks をデプロイする

Azure データサービスごとに複数の Private Link を構成することも可能であり、これによりエンタープライズガバナンスのニーズに適合するアーキテクチャを構築できます。

オプション 2: Azure Virtual Network Service Endpoints

Azure のドキュメントによると、Virtual Network（VNET）サービスエンドポイントは、virtual network のプライベートアドレス空間を拡張します。これらのエンドポイントは、VNet の ID を Azure サービス に直接接続経由で拡張します。エンドポイントを使用すると、クリティカルな Azure service リソースを virtual networks のみに制限して保護できます。お使いの VNet から Azure サービス へのトラフィックは、常に Microsoft Azure ネットワークバックボーン上に維持されます。

サービス エンドポイントは、次のメリットを提供します (ソース):

Azure サービス リソースのセキュリティを強化

仮想ネットワークごとにプライベート アドレス空間が重複する可能性があります。重複するネットワーク スペースを使用して、特定の VNET からの発信トラフィックを一意に識別することはできません。VNET のサブネットでサービス エンドポイントを有効にすると、仮想ネットワーク ファイアウォール ルールを追加して、VNET ID をこれらのリソースに拡張することで Azure データ サービスを保護できます。このような構成により、これらのリソースへのパブリック アクセスが削除され、VNET からのトラフィックのみが許可されます。

仮想ネットワークからの Azure データサービス トラフィックの最適なルーティング

現在、クラウド/オンプレミスベースの仮想アプライアンス経由でパブリック ネットワーク接続のトラフィックを指示するために使用される VNET のすべてのルートは、Azure データサービス トラフィックにも使用されます。サービス エンドポイントは、Azure トラフィックの最適なルーティングを提供します。

Azure ネットワーク バックボーンでトラフィックを維持する

サービス エンドポイントは、Azure データサービス トラフィックを常に VNET から Microsoft Azure ネットワーク バックボーン上のリソースに直接ルーティングします。Azure ネットワーク バックボーンでトラフィックを維持することで、強制トンネリングを通じて、データサービス トラフィックに影響を与えることなく、仮想ネットワークからのアウトバウンド インターネット トラフィックの監査と監視を継続できます。ユーザー定義ルートと強制トンネリングの詳細については、Azure 仮想ネットワーク トラフィック ルーティングを参照してください。

セットアップが簡単で、管理オーバーヘッドなし

IP ファイアウォールを介して Azure データサービス リソースを保護するために、仮想ネットワークに予約済みのパブリック IP アドレスをもう用意する必要はありません。サービス エンドポイントをセットアップするために、NAT (Network Address Translation) やゲートウェイ デバイスは必要ありません。サブネットの簡単なセットアップを通じてサービス エンドポイントを構成できます。エンドポイントの維持に追加のオーバーヘッドはありません。

Azure Service Endpoint with Azure Databricks

Azure Service Endpoint の考慮事項

サービス エンドポイントを実装する前に、次の点を考慮してください。

• デフォルトでは、データ漏洩に対する保護は提供されません。
• Azure ネットワーク バックボーンでトラフィックを維持します。つまり、パブリック ネットワークはデータフローに使用されません。
• プライベート ネットワーク アドレス空間を Azure データサービスに拡張しません。
• 他のリージョンの Azure データサービスにプライベートに接続できません（ペアになっているリージョンを除く）。
• Azure Service Endpoint のメリットと制限事項の詳細なリストについては、ドキュメントを参照してください。

Private Link について言及した上記の例と同じ例を、Service Endpoints を使用した場合にどうなるか見てみましょう。この場合、Azure Storage Service Endpoint は Azure Databricks サブネットで構成でき、同じサブネットを ADLS Gen2 ファイアウォール ルールでホワイトリストに登録できます。

このような環境は次のように構成できます。

1 - ADLS Gen2 のサービス エンドポイントをセットアップする

2 - VNET に Azure Databricks をデプロイする

3 - ADLS Gen2 で IP ファイアウォール ルールを構成する

セキュアな Azure データアクセスを開始する

Azure Databricks 環境から Azure データサービスに安全にアクセスするためのオプションをいくつか説明しました。ビジネスの具体性に基づいて、Azure Private Link または Virtual Network Service Endpoints のいずれかを使用できます。ネットワーク接続アプローチが最終決定されたら、セキュアな認証アプローチを利用してこれらのリソースに接続できます。

• 特定のデータソースについては、Azure Databricks のドキュメントにアクセスしてください。
• 資格情報を非表示にするために、シークレットの使用を検討してください。
• 可能な場合は、Azure AD クレデンシャル パススルーを使用して ADLS Gen2 にアクセスしてください。

このシリーズの次のブログでは、データ漏洩を防ぐ（つまり、データ損失防止アーキテクチャを実装する）ための、しっかりとロックダウンされた環境をセットアップする方法を詳しく説明します。上記で説明したオプションと Azure Firewall を組み合わせて使用します。ご不明な点がございましたら、Microsoft または Databricks のアカウントチームにお問い合わせください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事