Delta Sharingに関するよくある質問トップ10とその回答 - パート1

Delta Sharingは驚異的な勢いで成長しており、アクティブな共有数は前年比300%増を記録しています。これは単なる一回限りのファイル転送ではなく、真の価値が交換されていることを証明する、持続的かつ継続的なコラボレーションを示しています。

この成長の主な要因は、プラットフォームのオープンな哲学にあります。Delta Sharingにより、お客様はあらゆるデータとAI資産を、誰とでも、摩擦なく共有できます。Delta Sharingのアクティブな共有の40%は、Databricksのエコシステム外の受信者との間で行われています。これは、Delta Sharingがプラットフォームやクラウドの垣根を越えたオープンなコラボレーションエコシステムを強力に推進していることを示しています。

本記事では、Delta Sharingに関してよく寄せられる質問のトップ10をまとめました。概要、他との違い、最も一般的なユースケース、開始するために必要なものについて、ぜひご一読ください。

1. Delta Sharingとは何ですか？

Delta Sharingは、安全なデータ共有のために最も広く採用されているオープンプロトコルです。組織はプラットフォームやクラウドを越えて、ライブデータやAI資産を交換できます。

2. Delta Sharingは何が違うのですか？

ほとんどの共有ツールでは、データを新しい宛先にコピーする必要があるため、古いデータサイロが発生し、攻撃対象領域（アタックサーフェス）が拡大してしまいます。Delta Sharingでは、ソースにあるライブデータを直接読み取ることができるため、データの移動や複製は一切不要です。

次に、Delta Sharingはオープンソースであるため、特定の単一エコシステムに縛られません。Databricksのレイクハウスやその他の場所から共有でき、受信者はDatabricksを使用しているかどうかに関わらずデータを利用できます。

最後に、受信者はPython、Apache Spark、Java、Power BIなどの標準的なオープンコネクタを介して接続し、承認された共有テーブルを読み取ることができます。

これらを総合すると、Delta Sharingは、チーム、ツール、クラウドを越えて、データとAIのためのプラットフォームに依存しないコラボレーションを提供します。ベンダーロックイン、データのコピー、ガバナンスのギャップに悩まされることなく作業を進めることができます。

3. Delta SharingはIcebergに対応していますか？Apache Icebergを使用している場合、どのようにDelta Sharingを活用できますか？

はい、Delta SharingはApache Icebergと完全に互換性があります。Delta Sharingを選択することで、Apache Icebergをデータソースおよび宛先としてシームレスに機能させながら、Delta Sharingのパワーを最大限に活用し、最も広範なコラボレーションエコシステムにアクセスするという、両方のメリットを享受できます。

Delta Sharingは、Icebergにおける共有を第一級のプリミティブ（基本要素）にします。オープンな受信者がカスタムIdPで認証できるようにするOIDCトークンフェデレーションや、ネットワーク構成を簡素化して拡張するNetwork Gatewayなどのユニークな機能により、お客様はテーブルフォーマット間の完全な相互運用性を実現できます。

Unity Catalogで管理されているテーブルを、Snowflake、Trino、SparkなどのIcebergクライアントと共有できるようになりました。さらに、Hive MetastoreやAWS Glueなどのカタログで管理されている外部のIcebergテーブルをUnity Catalogにフェデレーションし、同じプロトコルを介して共有することも可能です。どちらの場合も、Unity Catalogにテーブルを登録し、共有を作成して、Databricks内外の適切な受信者を追加するだけです。これにより、Icebergユーザーは、データを移動または複製することなく、ガバナンスの効いたライブデータを使用してDatabricksの顧客とコラボレーションできます。

4. Delta Sharingを使用して、Databricksの顧客ではないユーザーとデータを共有できますか？

はい、受信者がDatabricksを使用しているか、あるいは他のプラットフォームを使用しているかに関わらず、すべての受信者とデータを共有できます。Delta Sharingは、Databricks間での共有とオープン共有（Open Sharing）の両方に対応したオープンプロトコルです。Delta Sharingは、受信者が任意のプラットフォームで使用できるオープンコネクタを提供しています。これには、Apache Sparkコネクタ、Pandasコネクタ、Iceberg Rest Catalogコネクタのほか、Power BI、Tableau、Excelのコネクタが含まれます。オープン共有では、テーブルだけでなく、ビュー、パーティション、変更データフィードも共有できるため、外部と共有する場合でもデータ共有体験を最適化できます。

5. なぜDelta Sharingを使用するのですか？どのような課題を解決できますか？

何千ものお客様がDelta Sharingをどのように活用しているかを分析した結果、ビジネスに真の変化をもたらす4つの主な方法が見つかりました。

6. すでにSFTP、S3、Dropbox、またはメールを使用してデータを共有している場合、なぜDelta Sharingが必要なのですか？

もし現在もSFTP、S3、Dropbox、またはメールを通じてデータを共有しているなら、組織を不必要なリスクと非効率性にさらしていることになります。攻撃者がSFTPの脆弱性を悪用して約400GBの機密データを盗み出した、Finastraの事例をご覧ください。

従来のやり方でも機能するかもしれませんが、それらは時代遅れで脆弱です。ファイル全体をコピーすることになり、期限切れのない静的なパスワードやキーの管理に追われ、同期の取れていない無数のコピーが作成されることで、重大なセキュリティやコンプライアンスのギャップが生じます。Delta Sharingは、これらすべてをモダンで安全、かつ監査可能なアプローチに置き換えます。必要な特定のテーブル、行、列（およびAIモデル）のみを共有でき、データを取得する側は常に最新バージョンを参照できるため、余分なコピーが残ることはありません。

セキュリティもより強固になります。静的なパスワードやアクセスキーを配布する代わりに、Delta Sharingは有効期限の短いトークンを発行します。また、すでに使用しているアイデンティティシステムと連携できるため、別の資格情報を管理する必要はありません。誰かがデータにアクセスするたびにUnity Catalogにログが記録されるため、監査やコンプライアンスへの対応が大幅に容易になります。

機密データの保護とコラボレーションの簡素化に真剣に取り組むのであれば、Delta Sharingは「あれば便利」なものではなく、今日の安全なデータ交換における基本要件です。

DatabricksのBuilt-OnパートナーであるKythera Labsが、Delta Sharingを使用して年間200万ドル以上を節約している方法については、こちらをご覧ください。

7. Delta Sharingを使用してどのような資産を共有できますか？

Delta Sharingを使用すると、ほぼすべての種類のデータやAIアセットを共有できます。その共有範囲の広さは非常にユニークです。これには、テーブル（およびテーブルパーティション）、ストリーミングテーブル、マネージドIcebergテーブル、外部スキーマとテーブル、ビュー（行/列フィルタリング用のダイナミックビューを含む）、マテリアライズドビュー、ボリューム、ノートブック、およびAIモデルが含まれます。スキーマ（データベース）全体を共有すると、その中のすべてのもの（テーブル、ビュー、ボリューム、モデル）がすぐに共有され、後から追加された新しいアセットも受信者が利用できるようになります。これらすべてのアセットは、単一のUnity Catalogメタストアに関連付けられているため、共有をすっきりと整理された状態に保つことができます。

8. プロバイダーが受信者とデータを共有する際、Delta Sharingはどのようにしてデータの安全性を確保するのですか？

Delta Sharingは、ゼロトラストでトークンベースのアプローチを採用しています。誰かがデータを要求すると、共有サーバーはUnity Catalogを確認し、ストレージを直接指す有効期限の短い読み取り専用トークンまたは署名付きURLを発行します。そのため、永続的なパスワードがプロバイダーの外部に出ることはありません。すべてのトラフィックはTLS暗号化で保護され、すべてのリクエストは監査のためにログに記録されます。Databricks間（Databricks-to-Databricks）では、ハンドシェイクが自動的に処理されます。外部ユーザーは、シンプルな資格情報ファイルまたはOIDCフェデレーションを使用して認証できますが、暗号化され、完全に監査された同じ一時トークンモデルが適用されます。これにより、適切な人だけが、限られた時間だけ、適切なデータにアクセスできるようになります。詳細については、ブログ記事「How Delta Sharing Enables Secure End-to-End Collaboration（Delta Sharingが安全なエンドツーエンドのコラボレーションを実現する方法）」をご覧ください。

9. 良さそうですね。Delta Sharingを使用する場合、コスト面ではどのような影響がありますか？

Delta Sharingの利用開始に費用は一切かかりません。データセットやAIモデルのセットアップ、設定、共有は無料です。実際に誰かがデータをクエリしたときにのみ料金が発生し、その場合でも費用は明確に3つの要素に分かれます。

第1に、コンピュートコスト（クエリの実行に必要な処理能力）は、通常、クエリを実行する人が支払いますが、データ所有者が負担することを選択することも可能です。

第2に、プロバイダーのクラウドからデータを移動するためのエグレスコスト（データ転送費用）があります。現在GA（一般提供）となっている新しいR2モードでは、「ゼロエグレス」オプションも提供されているため、この費用を完全に回避できます。

第3に、ストレージコストは、複製されたコピーを保持することを選択した場合にのみ発生します。リアルタイムのオンザフライアクセスでは、追加のスペースは必要ありません。

Databricks間での共有の例を挙げましょう。AWS上のサプライヤーが、Azure上の小売業者にマテリアライズドビューを共有するとします。データが共有される際、サプライヤーはAWSから送信されるデータのエグレスコストを支払い、小売業者が共有データに対してクエリを実行する際、小売業者はそのクエリのコンピュートコストを支払います。

10. Delta Sharingを使い始めるには何が必要ですか？

要件は、共有相手がDatabricksの受信者であるか、Databricks以外の受信者であるかによって異なります。

• Databricks-to-Databricks (D2D)：このモデルは、Databricksワークスペース間でデータを共有するためのものです。共有データを管理するために、プロバイダーと受信者の両方にUnity Catalogメタストアが必要です。Aon Reinsurance SolutionsがどのようにDatabricksのDelta Sharingを活用して、より適切な意思決定を行っているかをご覧ください。
• Databricks-to-Open (D2O)：このモデルは、Databricksワークスペースから外部のツールやプラットフォームにデータを共有するためのものです。プロバイダーにはUnity Catalogが有効化されたワークスペースが必要で、受信者はSpark、Pandas、Power BIなどのオープンコネクタを使用して接続できます。HPの3Dプリント部門が、D2Oを使用して顧客がほぼリアルタイムで機器のパフォーマンスを監視できるようにしている方法をご覧ください。

外部共有を有効にする必要があり、組織はガバナンスや、クラウドをまたぐことで発生する可能性のあるエグレスコストを追跡する必要があります。

始める準備はできましたか？

• Delta Sharingを始めるには、Delta Sharingのドキュメントをお読みください
• Data and AI Summit 2025のセッション「Delta Sharing in Action: Architecture and Best Practices（Delta Sharingの実践：アーキテクチャとベストプラクティス）」をご視聴ください
• Delta Sharingのセキュリティ、フレームワーク、ユースケースの詳細については、Data and AI Summit 2025のセッション「Securing Data Collaboration: A Deep Dive Into Security, Frameworks, and Use Cases（データコラボレーションの保護：セキュリティ、フレームワーク、ユースケースの深掘り）」をご視聴ください

次回の質問シリーズもお楽しみに。そこでは、セキュリティ、Delta SharingがClean RoomsやDatabricks Marketplaceなどの製品をどのように強化しているか、その他の高度な機能などのトピックを取り上げます。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事