Databricks Delta SharingでのIcebergフォーマットのファーストクラスサポートを発表

2年連続で前年比300%以上の利用成長を遂げたDelta Sharingは、データとAIの共有において最も広く採用されているオープンプロトコルです。SAP、Walmart、Atlassian、LSEGなどの主要なデータプロバイダーは、Delta Sharingを使用して、クラウドやプラットフォームを越えてパートナーや顧客とデータを共有しています。本日、Databricks Delta SharingがApache Icebergフォーマットを第一級でサポートしたことを発表いたします。

データプロバイダーは、Apache Iceberg REST Catalog APIをサポートするあらゆるクライアントに、Databricksからデータを安全かつライブで共有できるようになりました。Snowflake、Trino、Flink、Sparkなど、あらゆるクラウド上のプラットフォームの受信者がこの機能を利用でき、Delta Sharingのオープンなエコシステムをさらに拡大します。

さらに、データプロバイダーがDelta Sharingを使用して、AWS Glue、Hive Metastore、Snowflake Horizonなど、Databricks外部のカタログで管理されているIcebergテーブルを共有できるプライベートプレビューを開始します。

これにより、新規または既存のテーブル（DeltaまたはIceberg、マネージドまたは外部）を共有できます。これは、完全なオープンな相互運用性の実現に向けたものです。任意の外部カタログからIcebergテーブルを取り込み、DatabricksとUnity Catalogで管理して、Databricks、Icebergクライアント、Deltaクライアントなど、あらゆる受信者と共有できます。これにより、Unity Catalogを統合データガバナンスレイヤーとして活用し、すべての共有を1か所で行えるようになります。 

このブログ記事では、オープンなデータ共有がなぜ重要なのかについて説明します。また、ハンズオンデモを通じて、Delta Sharing から Iceberg クライアントへの共有がどのように機能するかを詳しく見ていきます。

これが重要な理由: オープン共有とクローズド共有

ほとんどのデータ共有ソリューションは、実際には共有ではなく、データを閉じ込めているのです。これらのソリューションは基本的にクローズドであり、ベンダーロックインを確実にするように設計されているため、共有できる相手は、そのクローズドなエコシステム内にすでにいるユーザーに限られます。これにより、選択肢が制限され、イノベーションが阻害され、大規模で無意味なデータの複製が引き起こされます。

Delta Sharingは、安全なデータ共有のための最も広く採用されているオープンスタンダードです。主要なデータプロバイダーに利用されており、さまざまなクラウドやプラットフォームをサポートするように構築されています。Delta Sharingは、3つの基本原則に基づいて動作します。

• あらゆるアセットを共有。
• 誰とでも共有できます。
• スムーズに共有。

Iceberg クライアントのサポートを追加することで、この取り組みが強化されます。これにより、Deltaテーブルを共有し、受信者はそれをネイティブのIcebergテーブルとして利用できます。共有は Iceberg REST API を介して行われるため、受信者は Iceberg と互換性のある任意のプラットフォームから接続できます。これにより、両方の長所を活かすことができます。データプロバイダーはビュー共有などの高度な Delta Sharing 機能の恩恵を受ける一方、受信者は Iceberg REST API 経由でネイティブの Iceberg テーブルを受け取ることができます。

受信者は、ソースデータに安全かつリアルタイムにアクセスできます。これによりサイロが解消され、誰とでもオープンにデータを共有できるようになります。

この機能は、Snowflake上で稼働している、あるいはTrino、Flink、Sparkなどのプラットフォームと統合しているIcebergクライアントを使用するパートナーや顧客と、外部でデータを共有する必要がある組織にとって理想的です。複数のプラットフォームで事業を展開する複数の事業部門を持つ企業も、マルチクラウド環境やハイブリッド環境でシームレスな双方向データ交換を可能にすることでメリットを得られます。これらのパターンをすでに活用している業界には、ヘルスケア、小売、金融、アドテクなどがあります。

相互運用性: ソースとデスティネーションの両方

私たちは完全なオープンデータアクセスを信じているため、Icebergクライアントへのデータ共有にとどまりません。現在、私たちは次なる進化として、AWS GlueやSnowflake Horizonなどの外部カタログにある外部Icebergテーブルを共有する機能を開発しています。このたび、外部Icebergテーブルに対応したDelta Sharingのプライベートプレビューを発表できることを嬉しく思います。

AWS Glue や Snowflake にある Iceberg テーブルを、なぜ Delta Sharing を通じて共有する必要があるのか、と疑問に思うかもしれません。そのプラットフォーム内から直接共有しないのはなぜでしょうか？

まず、Unity Catalog で外部 Iceberg データをカタログ化することにより、Unity Catalog に統一されたガバナンスレイヤーがもたらされ、データ資産全体にわたる完全な可視性とガバナンスを実現できます。さらに、Delta Sharing を使用することで、両方の長所を活かすことができます。つまり、データを Iceberg 形式に保ちながら、Delta Sharing のクラス最高レベルの共有機能の恩恵を受けることができるのです。これには、例えば、きめ細かなアクセス制御のためにビューを Delta Share する機能が含まれますが、これは Iceberg IRC API ではネイティブにサポートされていません。

このプライベートプレビューにより、Databricksレイクハウスは双方向でオープンになります。お使いのLakehouseは、成長を続けるIcebergエコシステムにデータを共有したり、そこからデータを受信したりできます。

このデュアル機能により、以下が可能になります。

• シンプルなコラボレーション： 使用するオープンテーブルフォーマット（Delta または Iceberg）を問わず、共同作業ができます。
• ガバナンスの効いた共有: Unity Catalogがアクセスを制御し、監査ログを提供します。
• 最大限のリーチ: プロバイダーとしても受信者としてもデータを共有し、プラットフォームの壁を取り払います。

仕組み

貴社（Provider Corp）が、DatabricksとDelta Lakeを使用して顧客データを管理しているとします。Snowflakeを使用しIceberg形式を好むPartner Incと、毎日の製品売上リストを安全に共有する必要があります。

この機能の導入前: Provider Corp は、データを手動でエクスポートし、Snowflake で読み取り可能なフォーマットに変換し、パートナーのクラウド ストレージにアップロードして、複雑な同期ジョブを設定する必要がありました。これは時間がかかり、コストがかさみ、多大な管理オーバーヘッドを伴い、データが古くなるリスクがあります。

Delta SharingからIcebergクライアントへ：

1. Provider Corpは、UniFormを介して売上データに対するIcebergの読み取りを可能にし（これには、マネージドおよび外部のDeltaテーブル、ビュー、マテリアライズドビュー、ストリーミングテーブルが含まれます）、Delta Sharingを介してそれを共有します。複製や再取り込みは不要で、ライブアクセスが可能です。
2. Partner Incは、短期的なベアラートークンによる安全な認証のために提供された認証情報を使用して、Snowflakeで簡単な接続を設定します。
3. Partner Inc のアナリストは、共有テーブルを Snowflake 環境のネイティブ Iceberg テーブルのように扱い、標準 SQL を使用してすぐにクエリーを実行できます。
4. 彼らが見るデータは常にライブ（ゼロコピー）であり、Provider CorpはUnity Catalogを使用した監査とモニタリングによって完全なセキュリティとガバナンスを維持します。

これにより、データ共有は即時かつ安全で、完全にフォーマットに依存しないものになります。

デモ

テーブルを共有し、Snowflakeで読み取るステップを紹介するこちらのデモをご覧ください。 

1. Delta Sharing を介してテーブルを共有し、受信者用の認証情報を生成します。
2. 受信者は認証情報ファイルをダウンロードし、アクティベーションリンクのページにアップロードして、SQLを生成します。生成されるSQLには、お使いのIcebergクライアント（Snowflakeなど）で必要となるすべての認証情報、カタログ参照、テーブル参照が含まれます。
3. 完了すると、受信者は共有されたライブデータに対し、手動での取り込みやコピーを必要とせず、あたかも自社のプラットフォームにネイティブであるかのように、すぐにクエリを実行できます。

次のステップ

• Icebergクライアント向けDelta Sharingのパブリックプレビューを、今すぐ製品で直接お試しください。ガイドやリソースについては、Databricksドキュメントと、お使いのワークスペースUIをご覧ください。
• Sharing Foreign Iceberg Tablesのプライベートプレビューへの参加にご興味がある場合、またはIcebergの完全な相互運用性について詳しく知りたい場合は、Databricksのアカウントチームにお問い合わせください。

無料トライアル

• Delta Sharingを始めるには、Delta Sharingのドキュメントをお読みください。
• Data and AI Summit 2025でのDelta Sharing in Action: Architecture and Best Practicesをご覧ください
• Delta Sharing のセキュリティ、フレームワーク、ユースケースについてさらに詳しく知るには、Data and AI Summit 2025 のセッション「データコラボレーションの保護: セキュリティ、フレームワーク、ユースケースの詳細」をご覧ください。

 

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事