Delta Sharingがセキュアなエンドツーエンドのコラボレーションを実現する方法

今日のデジタル環境において、安全なデータ共有は業務効率の向上とイノベーションに不可欠です。DatabricksとLinux Foundationは、データ、アナリティクス、AIにわたるデータ共有のための初のオープンソースアプローチとして、Delta Sharingを開発しました。 Databricksは安全なデータ交換を提供し、プラットフォーム、クラウド、リージョンを越えたシームレスな共有を可能にします。Delta Sharingは、幅広いアプリケーションと多様なデータ形式をサポートしており、あらゆる規模の企業から信頼されています。この柔軟性により、データ資産の可能性を最大限に引き出そうとする組織にとって、信頼性の高いツールとなっています。

本ブログでは、3つの異なる共有シナリオ（Databricksユーザー間（D2D）、Databricksユーザーからオープン共有（D2O）、およびマルチクラウド間でのデータ共有）を通じて、Delta Sharingのセキュリティアーキテクチャを解説します。また、さまざまなプラットフォームやクラウド間での合理化された安全なデータ交換による業務効率の向上、複雑さとリスクの軽減など、最新のデータコラボレーション戦略の一環としてDelta Sharingを導入するメリットをまとめます。この安全なフレームワークは、関係者間の信頼を醸成する強固なプライバシー保護を維持しながら、インサイトを得るまでの時間を短縮し、より迅速な意思決定を可能にします。さらに、Delta Sharingの柔軟性は多様なデータ形式やアプリケーションをサポートしているため、変化するビジネスニーズに安全に対応できます。各シナリオには、このソリューションがもたらす革新的な効果を直接体験したお客様の声を掲載しています。本ブログでは、データプロバイダーがDatabricksプラットフォームのマネージドバージョンを使用している場合の、Databricks Delta Sharingに焦点を当てます。

Databricks間でのデータ共有（D2D）

D2Dシナリオは、Databricksエコシステム内の2つのDatabricksユーザー間における、安全で合理化されたデータ交換の好例です。Databricksが管理する接続とトークン不要の交換システムを特徴とし、シンプルさとセキュリティの両方を確保しています。

D2D共有を使用することで、ユーザーはDelta SharingとUnity Catalog（UC）のネイティブな統合によるメリットを享受できます。これにより、共有操作に対する統一されたガバナンスとセキュリティが提供されます。共有はデータだけに限定されないことに注意が必要です。Unity Catalogはデータセットにとどまらず、ボリューム、ノートブック、AIモデルにまで拡張されており、その優れた機能の幅広さを示しています。アカウント内共有のためのDelta Sharingはデフォルトでオンになっていますが、外部共有は必要な管理者レベルのアクセス権で有効化された場合に利用可能になります。Databricks Delta Sharingをセットアップするには、Unity Catalogとメタストアが有効になっている少なくとも1つのDatabricksワークスペースと、管理者ロールまたはCREATE SHARE and CREATE RECIPIENT権限が必要です（アカウントセットアップのドキュメントを参照）。

Unity Catalogは、受信者の作成や共有の確立といった初期ステップから、アクセス権の付与という重要なプロセスに至るまで、一貫して統一されたガバナンスレイヤーを提供します。Delta Sharingサービスは、APIリクエストを処理し、徹底的な認可チェックを行い、詳細なアクティビティログを保持します。これらのステップすべてにより、共有エコシステムをスムーズに維持するために信頼できる、高度に調整されたシステムのように、運用の透明性とセキュリティが確保されます。

データアクセス：認可後のデータアクセスについて詳しく見ていくと、ここでもUnity Catalogが重要な要素となります。Unity Catalogから認可を受けると、アセットタイプや共有の取り決めなどの要因に基づいて、クラウドトークンまたは署名付きURLのいずれかのアクセス方法が決定されます。クラウドトークンの場合、プロバイダーのUCによって読み取り専用のスコープ制限付きSASトークンが生成され、それが受信者のコンピュートプレーンに転送されます。これにより、テーブルのルートディレクトリへの安全な期間限定のストレージアクセスが提供されます。同様に、署名付きURLでは、関連するURLのリストが作成されて受信者のコンピュートプレーンに送信され、ストレージファイルへの安全な一時的アクセスが提供されます。AzureのSASトークンやAWSの署名付きURLなど、異なるクラウドサービスを使用する際にセキュリティ機能を戦略的に利用することで、リージョンやクラウドを越えて、安全な環境で許可された個人のみがデータにアクセスできるようにします。さらに、相互作用は受信者とプロバイダーのコントロールプレーン内に限定され、外部のエージェントによってトリガーできない特権操作であるため、外部からの侵害を防ぐことができます。この手法はシステムの適応性を強調するものであり、データ共有の柔軟性とセキュリティの両方を確保し、幅広いビジネスニーズに巧みに対応します。

Coastal Community Bankは、パートナーネットワークからの厳格で困難なデータ共有、コンプライアンス、セキュリティの要求を満たすために、Delta Sharingを採用しました。Coastalは、最新のデータプラットフォームの開発を支援するパートナーとしてCavallo Technologiesを選定しました。Cavallo Technologiesの社長であるRob Cavallo氏は、Coastalが現在および将来に向けて柔軟なソリューションを必要としていた理由を説明しています（Coastal Community Bankのケーススタディを読む）。

「ある意味で、Coastal [Community Bank]は矛盾した要求をしていました。簡単なコラボレーションを可能にしながら、消費者金融データに対する最高水準のセキュリティ基準を満たすという要求です。今日のワークロードに対してプラットフォームが高性能かつコスト効率に優れていると同時に、まだ想像もつかない将来のユースケースにも対応できる柔軟性を備えていることが不可欠です。最終的に、それを実現できるプラットフォームは、私たちが探した中でDatabricksデータインテリジェンスプラットフォームだけでした」 — Cavallo Technologies社長、Rob Cavallo氏

テーブルにとどまらない安全なデータ共有

Delta Sharingは表形式データだけでなく、ボリューム、ノートブック、AIモデルなどの非表形式データ資産も含めることで、データコラボレーションへのより包括的なアプローチをサポートしています。これらのアセットタイプは、現在はD2D共有フレームワークでのみサポートされており、コラボレーションエコシステムを強化します。AIモデルはボリュームと同様の方法で共有されますが、ノートブックは独自の共有メカニズムを備えています。ノートブックは、受信者が署名付きURLを介してプレビューでき、ポップアップウィンドウにコンテンツがHTMLとしてレンダリングされて即座にアクセスできます。より深い統合のために、base64エンコーディングとAPI呼び出しを利用して、ノートブックを受信者の環境にインポートし、シームレスに移行することも可能です。

AIモデルの共有は、プロバイダーのUCによって生成された安全な読み取り専用のスコープ制限付きSASトークンを受信者のコンピュートプレーンに転送することによって行われます。このアプローチにより、安全かつ効率的なアクセスが保証され、受信者のUCにあるモデルレジストリへの1回限りのコピーを許可することで、モデルの不要なコピーを避けることができます。このモデルのコピーは、複数のリージョンにデプロイして推論プロセスを最適化し、エンドユーザーに近いリージョンのデータセンターを活用することで、遅延を減らしてパフォーマンスを向上させ、より迅速な応答時間を提供できます。Delta Sharingを使用した共有ボリュームやAIモデルの検出、アクセス、活用は、各データタイプに合わせた同様の、かつカスタマイズされたアプローチを示しており、データ共有とコラボレーションのための安全で多用途なプラットフォームを促進します。

Databricksからオープンデータ共有（D2O）

オープン共有シナリオに移行すると、D2Oは、Databricksを利用していない外部のサードパーティユーザーとデータを共有するDatabricksユーザーに対して、厳格なセキュリティプロトコルを維持します。D2Oにより、受信者は特定のコンピュートプラットフォームを事前に必要とすることなく、pandas、Tableau、Apache Spark、Rust、またはオープンプロトコルをサポートするその他のシステムなど、さまざまなシステムをサポートするDelta Sharingコネクタを使用して、共有データに直接接続できます。

Databricksでオープンな受信者を作成すると、安全な1回限りのアクティベーションURLが生成され、受信者はDelta Sharingのエンドポイントアドレスとトークンを含む認証情報ファイルをダウンロードできます。セキュリティ侵害が発生した場合、プロバイダーは受信者の認証情報を変更したり、読み取り権限を取り消したりするなどの即時対応をとることができ、さらなる問題の発生を防ぐことができます。

データアクセスのワークフロー：受信者が前述のコネクタのいずれかを使用して共有テーブルをクエリすると、Delta Sharingは認証情報ファイルのトークンを使用して受信者を検証し、データにアクセスするための署名付きURLを提供します。このアプローチにより、さまざまなオープンソースコネクタとの互換性が確保され、共有アセットの整合性とセキュリティが保護されます。（データの共有とアクセスに関する詳細はこちら）

Cox Automotive Europe（Cox Automotiveの傘下）は、世界最大の自動車サービス組織であり、Delta Sharingを使用して、企業のデータサービスチームの外部で共有されるデータを一元管理および監査すると同時に、強固なセキュリティとガバナンスを確保しています。Cox Automotiveの事例紹介を読む。

「Delta Sharingを使用すると、データをコピーしたり複製したりすることなく、ビジネスユニットや子会社と安全にデータを簡単に共有できます。受信者が当社のワークスペースにIDを持っていなくても、データを共有できるようになります」 — Robert Hamlet氏（Cox Automotive、リードデータエンジニア）

クロスクラウドでのデータ共有

企業は、異なるクラウドプラットフォームにわたる多様な機能をサポートしたり、パートナーシップを促進したり、買収後に他の組織のデータを統合したりする必要性から、クロスクラウド戦略を採用することが増えています。このマルチクラウド環境への移行は、組織が社内外でシームレスかつ安全な共有を実現するために、Delta Sharingのような堅牢なソリューションを導入することの重要性を浮き彫りにしています。クロスクラウド戦略の実施は、各クラウドサービスの独自の強みを活かしつつ、相互接続されたデジタルエコシステムにおいて業務の継続性を維持し、イノベーションを促進し、成長を牽引するために、多くのお客様にとって不可欠となっています。

クロスクラウド戦略を採用している多くのお客様にとって、マルチクラウド環境をシームレスにサポートするDelta Sharingのオープンなクロスプラットフォーム共有機能が、明確な差別化要因であり強みであることは明らかです。Delta Sharingは、単一のクラウド内で社内共有する場合でも、複数のクラウドプラットフォームにわたって社外共有する場合でも同様に効果的であり、どちらのシナリオでも安全で効率的なデータ交換プロセスを保証します。 Databricksは、多くの顧客からマルチクラウド環境におけるデータ共有のニーズや、Delta Sharingがクラウドエコシステム全体の相互運用性の促進とセキュリティの強化にどのように役立っているかについて意見を聞いてきました。

これらのDatabricksのお客様の1社が、国際的な取引所組織であり市場インフラプロバイダーでもあるDeutsche Börseです。同社がDelta Sharingを導入し、顧客とオープンにデータを共有してコラボレーションできるようにしたことで、ビジネスに劇的な変化がもたらされました。

「きめ細かなアクセス制御、最高水準のセキュリティ、プライバシー保証を備え、安全なデータ共有を可能にするプラットフォームを持つことで、新たな可能性が開かれます。以前であれば『残念ながら、クライアントがデータやモデルを当社と共有することを望んでいない』、あるいは『機密保持の観点から、より詳細なデータや当社のモデルを共有したくない』と言っていたような場面でも、今ではカスタマイズされたソリューションについての話し合いを進めることができます」 — Jan Stiebing氏（Deutsche Börse、ビジネス戦略およびM&A責任者）

この顧客の例をはじめとする多くの事例において、Delta Sharingは、最高水準のセキュリティとプライバシーを維持しながら、かつては克服不可能と考えられていたデータ共有とコラボレーションのギャップを埋めることができます。Deutsche Börseは、Databricks Marketplaceでいくつかの市場データリストも提供しています。

ネットワークとストレージの構成

Delta Sharingは、さまざまなクラウド環境にわたる安全でシームレスなデータ共有を可能にし、クラウドネイティブなストレージセキュリティアーキテクチャとシームレスに統合します。既存のセキュリティフレームワークを大幅に変更する必要はありません。このアプローチは、Azure、AWS、GCPなどのクラウドプラットフォームでDatabricksを利用している組織向けに設計されており、Unity Catalogの要件に準拠しています。Databricks Data Intelligence Platformは、セキュリティ強化のためのプライベート通信チャネルやIPアドレスのホワイトリスト登録を重視し、クラウドストレージソリューション（ADLS Gen2、S3、GCS）を介したデータ共有をサポートしています。

以下に示すDelta Sharingのネットワークとストレージの構成は、イントラクラウドとクロスクラウドの両方のシナリオで機能します。イントラクラウド共有は、プライベートエンドポイント、ストレージファイアウォール、ネットワークゲートウェイを使用して、同じクラウドエコシステム内での安全なデータ交換を促進し、パブリックアクセスが許可されないようにします。クロスクラウド共有シナリオでは、Delta SharingはNATゲートウェイの送信IPを活用し、サイト間VPNや専用回線などの既存のクロスクラウドプライベート接続をサポートして、異なるクラウドプラットフォームやオンプレミスネットワーク間での安全なデータアクセスを可能にします。この包括的で安全なアプローチにより、幅広いネットワークインフラがDelta Sharingに効率的に参加できるようになり、柔軟性とセキュリティの両方が向上します。

上記の図は、クロスクラウドのネットワーク構成例を示しています。

データフィルタリング

Delta Sharingにおいて、データフィルタリングは柔軟で安全なアクセスを提供するために不可欠であり、主に次の2つの方法があります。

• パーティションフィルタリング：受信者のプロパティに一致する特定のテーブルパーティションの共有を可能にします。これはパラメータ化されたパーティション共有として知られています。この戦略により、データプロバイダーは必要なデータ部分を柔軟に共有でき、制御されたアクセスを容易にします。
• ダイナミックビュー：current_recipient などの動的関数を介してデータの任意のサブセットを受信者と共有できるようにし、データアクセスに対するきめ細かな制御と管理性の向上を提供します。

特定の受信者プロパティに基づくアクセス制限を可能にし、意図した受信者とのみ、適切なコンテキストでデータが共有されるようにします。これらのアプローチは、Delta Sharing의セキュリティと柔軟性を高め、受信者独自のニーズを満たすカスタマイズされたデータアクセスを可能にします。

Delta Sharingによるセキュリティ、柔軟性、シームレスな統合

結論として、Delta SharingはDatabricks Data Intelligence Platformの主要なコンポーネントであり、最新のデータ戦略をサポートする、安全で柔軟なクロスプラットフォームのデータ共有機能で際立っています。オープンソースコネクタを介して他のプラットフォームをサポートすることに加え、Delta Sharingを使用すると、構造化データや非構造化データ、さらにはAIモデルを共有できます。これらすべての機能により、Delta Sharingは他のデータ交換プラットフォームと明確に差別化されています。その結果、Delta Sharingはさまざまな業界のお客様から広く信頼されており、それは顧客の声にも反映され、業務効率とイノベーションへの大きな影響が強調されています。データ共有を取り巻く環境が進化し続ける中、Delta Sharingは将来を見据えて構築されており、多様なデータ共有エコシステム全体でセキュリティ、柔軟性、シームレスな統合を優先しています。この確固たるコミットメントにより、Delta Sharingは、世界中の企業のデジタル目標を推進するためにデータの力を活用する上で、不可欠なアセットとなっています。

組織内でDelta Sharingを導入する方法の詳細については、以下の新しいeBookや関連ブログなどの最新リソースを参照するか、Delta Sharingのドキュメントを詳しくご覧ください。

• O'Reillyの技術ガイド『Delta Sharingによるデータ共有とコラボレーション』を読む
• eBook『データ共有への新しいアプローチ 第2版』を読む
• eBook『データ共有による業界イノベーションの加速』を読む

すでにDelta Sharingをご利用のお客様は、ご質問やフィードバックについて、datasharing@databricks.comまでお気軽にお問い合わせください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事