Delta Sharingによるグローバルなデータコラボレーションの構築

今日の相互に接続されたデジタル環境において、組織やプラットフォーム間でのデータ共有とコラボレーションは、現代のビジネス運営に不可欠です。革新的なオープンデータ共有プロトコルであるDelta Sharingにより、組織はベンダーやデータフォーマットの制約を受けることなく、セキュリティとスケーラビリティを最優先しながら、多様なプラットフォーム間でデータを安全に共有し、アクセスすることができます。

このブログでは、特定のデータ共有シナリオに合わせたアーキテクチャガイダンスを探ることで、Delta Sharingにおけるデータレプリケーションの選択肢を紹介します。多くのDelta Sharingクライアントとの経験から得た知見を活かし、具体的なデータレプリケーションの代替案を提供することで、エグレス（データ転送）コストを削減し、パフォーマンスを向上させることを目指しています。多くのリージョン間データ共有シナリオにおいてはライブ共有が依然として適していますが、データセット全体をレプリケートし、ローカルリージョンのレプリカに対してデータ更新プロセスを確立する方がコスト効率が高い場合もあります。Delta Sharingは、Cloudflare R2ストレージ、Change Data Feed（CDF）Delta Sharing、およびDelta Deep Cloning機能を利用することで、これを容易にします。これらの機能の結果として、Delta Sharingはユーザーに権限を与え、データ共有のニーズを満たす上で卓越した柔軟性を提供するものとして、クライアントから高く評価されています。

Delta Sharingはオープンで柔軟、かつコスト効率に優れています

DatabricksとLinux Foundationは、データ、アナリティクス、AIにわたるデータ共有への初のオープンソースアプローチを提供するためにDelta Sharingを開発しました。お客様は、強力なセキュリティとガバナンスのもと、プラットフォーム、クラウド、リージョンを越えてライブデータを共有できます。セルフホストによるオープンソースプロジェクトの使用であっても、Databricks上のフルマネージドなDelta Sharingの使用であっても、どちらもグローバルなデータ配信のための、プラットフォームに依存しない柔軟でコスト効率の高いソリューションを提供します。Databricksのお客様は、管理オーバーヘッドを最小限に抑え、Databricks Unity Catalogとネイティブに統合されたマネージド環境内で、さらなるメリットを享受できます。この統合により、組織内および組織間でのデータ共有のための合理化されたエクスペリエンスが提供されます。

Databricks上のDelta Sharingは、2022年8月の一般提供開始以来、さまざまなコラボレーションシナリオで広く採用されています。

このブログでは、重要なビジネスシナリオの実現と強化においてDelta Sharingが極めて重要な役割を果たした、2つの一般的なアーキテクチャパターンについて説明します。

1. 企業内におけるリージョン間のデータ共有
2. データアグリゲーター（ハブ＆スポーク）モデル

また、このブログの一部として、Delta Sharingのデプロイアーキテクチャが柔軟であり、新しいデータ共有要件を満たすためにシームレスに拡張できることも実証します。

企業内におけるリージョン間のデータ共有

このユースケースでは、別々のリージョンにQAチームがある場合や、グローバルベースのビジネス活動データに関心があるレポート作成チームがある場合など、一部のデータをリージョン間で共有するというビジネスニーズがあるお客様の間で、Delta Sharingの一般的なデプロイパターンを説明します。通常、企業内テーブルの共有には以下が含まれます。

• 大規模なテーブルの共有： アクセスパターンが異なる受信者と、大規模なテーブルをリアルタイムで共有するという要件があります。受信者は、異なる述語（predicate）を使用して多様なクエリを実行することがよくあります。好例としては、クリックストリームやユーザーアクティビティデータがあり、これらのケースではリモートアクセスがより適しています。
• ローカルレプリケーション： パフォーマンスを向上させ、エグレスコストをより適切に管理するために、特に受信者のリージョンにこれらのテーブルに頻繁にアクセスする多数のユーザーがいる場合は、一部のデータをレプリケートしてデータのローカルコピーを作成する必要があります。

このシナリオでは、データプロバイダーとデータ受信者の両方のビジネスユニットが同じUnity Catalogアカウントを共有していますが、Databricks上では異なるメタストアを持っています。

上記の図は、Delta Sharingソリューションのハイレベルなアーキテクチャを示しており、Delta Sharingプロセスにおける主要なステップを強調しています。

1. シェアの作成： ライブテーブルが受信者と共有され、即時のデータアクセスが可能になります。
2. オンデマンドデータレプリケーション： オンデマンドデータレプリケーションの実装には、パフォーマンスを向上させ、リージョン間ネットワークアクセスの必要性を減らし、関連するエグレス料金を最小限に抑えるために、データのリージョン別複製を生成することが含まれます。これは、データレプリケーションに以下の手法を利用することで実現されます。

A. 共有テーブルでのChange Data Feed

このオプションでは、テーブル履歴を共有し、Change Data Feed（CDF）を有効にする必要があります。これは、Create/Alter tableコマンドを使用してテーブルプロパティ delta.enableChangeDataFeed = true を設定することにより、セットアップコード内で明示的に有効にする必要があります。

さらに、テーブルをシェアに追加する際は、以下の例に示すように、CDFオプション付きで追加されていることを確認してください。

データが追加または更新されると、この例のように変更にアクセスできます。

受信者側では、このノートブックと同様の方法で、変更にアクセスしてデータのローカルコピーにマージできます。共有テーブルからローカルレプリカへの変更の伝播は、Databricksのワークフロー（workflow）ジョブを使用してオーケストレーションできます。

B. DatabricksとCloudflare R2

R2は、予測不可能なエグレス料金を心配することなく、共有の可能性を最大限に引き出すことができるため、すべてのDelta Sharingシナリオにおいて優れた選択肢です。これについては、このブログの後半で詳しく説明します。

C. Delta Deep Clone

企業内共有のもう1つの特殊なケースのオプションは、同じDatabricksクラウド・アカウント内で共有する場合にDelta Deep Cloneを使用することです。ディープクローン（Deep Cloning）は、ソーステーブルのデータと既存テーブルのメタデータの両方をクローン先にコピーするDeltaの機能です。さらに、ディープクローンコマンドには、新しいデータを識別してそれに応じて更新する機能があります。構文は以下の通りです。

前述のコマンドは受信者側で実行されます。ここで source_table_name は共有テーブルであり、table_name はユーザーがアクセスできるデータのローカルコピーです。

以下のコマンドを使用して、最近の更新によるデータの増分更新を行うためのシンプルなDatabricks Workflowsジョブをスケジュールできます。

同じユースケースを簡単に拡張して、Databricksプラットフォームまたはその他のプラットフォーム上の外部パートナーやクライアントとデータを共有することができます。これは、Databricksを利用していないパートナーや外部クライアントが、Excel、Power BI、Pandas、およびOracleなどの他の互換性のあるソフトウェアを介してこのデータにアクセスすることを希望する場合の、もう1つの一般的な拡張パターンです。

データアグリゲーターモデル（ハブ＆スポークモデル）

もう1つの一般的なシナリオパターンは、ビジネスがクライアントとのデータ共有に焦点を当てている場合、特にデータアグリゲーター企業が関与する場合や、主なビジネス機能がクライアントに代わってデータを収集することである場合に発生します。データアグリゲーターは、多様なソースからデータを収集し、統一された一貫性のあるデータセットにマージすることを専門とするエンティティです。これらのデータ共有は、ビジネス上の意思決定、市場分析、研究、全体的なビジネス運営のサポートなど、多様なビジネスニーズに対応する上で極めて重要です。

このパターンのデータ共有モデルは、以下を行います。

1. AWS、Azure、GCPを含む、さまざまなクラウドに分散している受信者を接続します。
2. PythonコードからExcelスプレッドシートまで、さまざまな複雑さの多様なプラットフォームでのデータ利用をサポートします。
3. 受信者数、共有数、データボリュームに対するスケーラビリティを可能にします。

一般的に、これはプロバイダーが各クラウドにDatabricksワークスペースを構築し、共有テーブル上でCDFを使用して3つすべてのクラウド間でデータを複製する（前述の通り）ことで、パフォーマンスを向上させ、エグレスコストを削減することによって達成できます。その後、各クラウドリージョン内で、適切なクライアントやパートナーとデータを共有できます。

しかし、現在プライベートプレビュー中のCloudflare R2とDatabricksの連携を利用することで、より効率的でシンプルな新しいアプローチを採用できます。

Cloudflare R2とDatabricksの統合により、組織は安全、簡単、かつ手頃なコストでライブデータを共有し、コラボレーションできるようになります。CloudflareとDatabricksにより、両社共通のお客様は、マルチクラウド分析やAIイニシアチブの可能性を最大限に引き出す上での障害となる、複雑さと流動的なコストを排除できます。具体的には、エグレス料金がゼロになり、複雑なデータ転送やリージョン間でのコストのかかるデータセットの複製が不要になります。

このオプションを使用するには、次の手順が必要です。

• Cloudflare R2を外部ストレージロケーションとして追加する（信頼できる唯一の情報源（Source of Truth）となるデータはS3/ADLSなどに保持したまま）
• Cloudflare R2に新しいテーブルを作成し、データを段階的に同期する
  • Delta deep clone
  • R2 Super Slurper
• 通常通り、R2テーブル上にDelta Shareを作成する

上記で説明したように、これらのアプローチはオンデマンドのデータ複製のさまざまな方法を示しており、それぞれに独自のメリットと特定の要件があるため、さまざまなユースケースに適しています。

クロスリージョン共有におけるデータ複製方法の比較

前述の3つのメカニズムはすべて、Delta Sharingユーザーがローカルコピーを作成できるようにし、特にクラウドやリージョンをまたぐ際のエグレス料金を最小限に抑えます。以下の表は、これらのオプションの違いを簡単にまとめたものです。

Delta Sharingはオープン、柔軟、かつコスト効率に優れており、Databricks上ではノートブック、ボリューム、AIモデルを含む幅広いデータ資産をサポートしています。さらに、いくつかの最適化により、Delta Sharingプロトコルのパフォーマンスが大幅に向上しました。モニタリングの改善、スケーラビリティ、使いやすさ、オブザーバビリティ（可観測性）を含む、Delta Sharing機能へのDatabricksの継続的な投資は、ユーザーエクスペリエンスを向上させ、Delta Sharingが将来にわたってデータコラボレーションの最前線であり続けるようにするというコミットメントを明確に示しています。

次のステップ

このブログを通じて、多くのDelta Sharingのお客様との経験に基づいたアーキテクチャのガイダンスを提供してきました。私たちの主な焦点は、コスト管理とパフォーマンスにあります。ライブ共有は多くのクロスリージョンデータ共有シナリオに適していますが、データセット全体を複製し、ローカルリージョンのレプリカに対してデータ更新プロセスを確立する方が、コスト効率が高いことが証明されている事例についても検討しました。Delta Sharingは、R2およびCDFのDelta Sharing機能を利用することでこれを促進し、ユーザーにさらなる柔軟性を提供します。

企業内クロスリージョンデータ共有のユースケースにおいて、Delta Sharingはさまざまなアクセスパターンを持つ大規模なテーブルの共有に優れています。CDF共有によって促進されるローカル複製は、最適なパフォーマンスとコスト管理を保証します。さらに、Cloudflare R2とDatabricksの連携は、複数のリージョンやクラウドにまたがる大規模なDelta Sharingのための効率的なオプションを提供します。

Delta Sharingをデータコラボレーション戦略に統合する方法の詳細については、最新のリソースをご覧ください。

• O'Reillyの技術ガイド『Data Sharing and Collaboration with Delta Sharing』を読む（早期リリース版）
• Databricks Delta Sharingのドキュメントを詳しく見る。
• 安全なデータ共有のためのオープンスタンダードであるDelta Sharingの詳細を読む
• Matei ZahariaによるDelta Sharingの発表ビデオを見る（Data + AI Summit 2021基調講演）

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事