Databricks と Linux Foundation は、データ、分析、AI 全体のデータ共有のための世界初のオープンソースのアプローチである Delta Sharing を開発しました。これにより、ユーザーは、強力なセキュリティとガバナンスを備えたプラットフォームで、クラウドや地域を問わずライブデータを共有できます。
主なメリット
プラットフォームを問わないオープンな共有
Delta Lake や Apache Parquet 形式の既存データを、あらゆるコンピューティングプラットフォームで容易に共有できます。
レプリケーション不要のライブデータ共有
異なるプラットフォーム間やクラウドサービス間、地域間でデータをコピーすることなく共有できます。データ共有にエグレス料金がかからない Cloudflare R2 を使用することで、コストを削減できます。
ガバナンスの一元化
共有データのガバナンス、監査、使用状況の追跡を 1 つのプラットフォームで一元管理できます。
データ製品のマーケットプレイス
データセット、AI モデル、ノートブックなどのデータ製品を構築・パッケージ化し、オープンなマーケットプレイスを介して提供できます。
プライバシー保護を考慮したデータクリーンルーム
データのプライバシーが保護されたホステッド環境が、主要なクラウド上での顧客やパートナーとのセキュアなコラボレーションを可能にします。
仕組み
Databricks プラットフォームとのネイティブな統合
Delta Sharing は、Unity Catalog とのネイティブな統合により、組織間の共有データを一元的管理、監査できます。データ資産をベンダーやパートナーとセキュアに共有して連携を強化すると同時に、セキュリティおよびコンプライアンスの要件を満たします。
データと AI アセットを容易に管理
構造化データセットや、ボリューム共有された非構造化データセット、AI モデル、ノートブック、コードなど、あらゆる種類のデータ資産をコラボレーションすることで、AI／BI ワークロードを強化します。Cross-Platform View Sharing、Materialized Views、Streaming Tables Sharingのプレビューへの早期アクセスリクエストを受け付けています。
オープンなマーケットプレイスでのデータ製品の発見とアクセス
Databricks マーケットプレイスでは、Databricks プラットフォームの利用を問わず、データセット、AI モデル、ダッシュボード、ノートブックをはじめとするデータ製品をどこから でも容易に発見し、評価、アクセスできます。
プライバシー保護を考慮したデータクリーンルーム
Databricks クリーンルームを利用し、データのプライバシーが保護された環境で、顧客やパートナーと主要なクラウド上でコラボレーションできます。レプリカを作成しなくても、データをセキュアに共有できます。任意のクラウド上でコラボレーションが可能で、 SQL、Python、さらには R、Scala、Java（近日中に利用可能） といったあらゆる言語で複雑な計算やワークロードを柔軟に実行できます。汎用的なユースケースでは、テンプレート、ノートブック、ダッシュボード機能がユーザーを支援し、インサイトの取得を加速させます。
ユースケース
Delta Sharing を使用して Data Mesh を構築し、関連会社を含めた組織内でセキュアにデータを共有する。
導入事例
オープンなエコシステム
使いやすい SQL、Python、BI ツールを使用して、最新の公開バージョンにプロバイダから直接アクセスできます。
