Delta Sharingのご紹介：セキュアなデータ共有のためのオープンプロトコル

企業が顧客、サプライヤー、パートナーと安全にデータを交換する方法を模索する中、現代の経済においてデータ共有は極めて重要になっています。例えば、小売業者がサプライヤーに売上データをリアルタイムで公開したい場合や、サプライヤーがリアルタイムの在庫情報を共有したい場合があります。しかし、これまでのデータ共有は、共有ソリューションが特定のベンダーに依存していたため、厳しく制限されていました。これにより、それぞれ異なるプラットフォームを使用しているデータ提供者とデータ利用者の双方に摩擦が生じていました。

本日、組織間の共有を簡素化する新しいオープンソースプロジェクト「Delta Sharing」を立ち上げます。これは、大規模なデータセットを安全にリアルタイムで交換するためのオープンなプロトコルであり、初めて製品間での安全なデータ共有を可能にします。私たちは、世界をリードするソフトウェアおよびデータプロバイダーのパートナーとともにDelta Sharingを開発しています。

今日のデータ共有ソリューションがなぜ摩擦を生むのかを理解するために、ある小売業者がサプライヤーのアナリストとデータを共有したい場合を考えてみましょう。現在、小売業者はデータ共有機能を提供するいくつかのクラウドデータウェアハウス of 1つを使用できますが、その場合、アナリストは自社のIT、セキュリティ、調達チームと連携して、同じデータウェアハウス製品を自社に導入する必要があり、このプロセスには数ヶ月かかることがあります。さらに、データウェアハウスが導入された後、アナリストが最初に行うのは、そこからpandasやTableauなどのお気に入りのデータサイエンスツールにデータをエクスポートすることです。

Delta Sharingを使用すると、データユーザーは、特定のプラットフォームを事前に導入することなく、pandas、Tableau、またはこのオープンプロトコルを実装するその他数十のシステムを介して、共有データに直接接続できます。これにより、アクセスにかかる時間が数ヶ月から数分に短縮され、できるだけ多くのユーザーにデータを届けたいデータ提供者の作業も大幅に削減されます。

私たちは、主要なクラウド、BI、データベンダーの製品チームを含む、活気あるパートナーエコシステムとともにDelta Sharingに取り組んでいます。

Delta Sharingエコシステム

この記事では、Delta Sharingの仕組みと、データ共有に対するオープンなアプローチに私たちがこれほど期待を寄せている理由について説明します。

Delta Sharingの目標

Delta Sharingは、提供者と利用者の双方が既存のデータやワークフローを容易に利用できるように設計されています。私たちは、以下の4つの目標を念頭に置いて設計しました。

• コピーせずにライブデータを直接共有する：既存のデータをリアルタイムで簡単に共有できるようにしたいと考えています。現在、企業データの大部分はクラウドデータレイクやレイクハウスシステムに保存されています。Delta Sharingはこれらに対応しており、特にDelta LakeまたはApache Parquet形式の既存のデータセットを安全に共有できます。
• 幅広いクライアントのサポート：利用者は、新しいプラットフォームをインストールすることなく、好みのツールからデータを直接利用できる必要があります。Delta Sharingプロトコルは、ツールが直接サポートしやすいように設計されています。ほとんどのツールがすでにサポートしているParquetに基づいているため、コネクタの実装は容易です。
• 強固なセキュリティ、監査、ガバナンス：このプロトコルは、プライバシーやコンプライアンスの要件を満たすのに役立つよう設計されています。Delta Sharingを使用すると、単一の制御ポイントから共有データへのアクセスを許可、追跡、監査できます。
• 大規模なデータセットへのスケール：データ共有では、きめ細かな産業データや金融データなど、テラバイト規模のデータセットをサポートする必要性がますます高まっていますが、これは従来のソリューションにおける課題でした。Delta Sharingは、クラウドストレージシステムのコスト効率と弾力性を活用し、大規模なデータセットを経済的かつ確実に共有します。

Delta Sharingの仕組み

Delta Sharingは、クラウドデータセットの一部へのアクセスを安全に共有するシンプルなRESTプロトコルです。S3、ADLS、GCSなどの最新のクラウドストレージシステムを活用して、大規模なデータセットを確実に転送します。これには、データ提供者（プロバイダー）とデータ利用者（レシピアント）の2つの当事者が関与します。

データ提供者は、Delta Sharingを使用することで、クラウドデータレイク上にDelta Lake形式で保存されている既存のテーブルまたはその一部（特定のテーブルバージョンやパーティションなど）を共有できます。Delta Lakeテーブルは本質的にParquetファイルのコレクションであり、必要に応じて既存のParquetテーブルをDelta Lakeにラップ（変換）するのも簡単です。データ提供者は共有したいデータを決定し、その前段でDelta Sharingプロトコルを実装し、利用者のアクセスを管理する共有サーバーを実行します。私たちはリファレンス共有サーバーをオープンソース化しており、他のベンダーも同様に行うと想定されるため、Databricks上でホスト型サーバーを提供しています。

データ利用者として必要なのは、このプロトコルをサポートする多数のDelta Sharingクライアントのいずれかだけです。私たちは、pandas、Apache Spark、Rust、Python用のオープンソースコネクタをリリースしており、さらに多くのコネクタについてパートナーと協力して取り組んでいます。

実際のデータ交換は、クラウドストレージシステムとDelta Lakeの機能を活用することで、効率的になるよう慎重に設計されています。プロトコルは以下のように動作します。

1. 利用者のクライアントは、（ベアラートークンなどの方法で）共有サーバーに対して認証を行い、特定のテーブルのクエリを要求します。クライアントは、データの一部のみを読み取るためのヒントとして、データに対するフィルター（例：「country=US」）を提供することもできます。
2. サーバーは、クライアントにデータへのアクセス権があるかどうかを検証し、リクエストをログに記録した上で、返送するデータを決定します。これは、実際にテーブルを構成するS3または他のクラウドストレージシステム内のデータオブジェクトのサブセットになります。
3. データを転送するために、サーバーは有効期限の短い署名付きURL（pre-signed URL）を生成します。これにより、クライアントはクラウドプロバイダーからこれらのParquetファイルを直接読み取ることができるため、共有サーバーを介してストリーミングすることなく、大規模な帯域幅で並行して転送を行うことができます。すべての主要なクラウドで利用可能なこの強力な機能により、非常に大規模なデータセットを高速、安価、かつ確実に共有できます。

設計のメリット

Delta Sharingの設計は、提供者と利用者の双方に多くのメリットをもたらします。

• クライアントにはテーブル内のオブジェクトの特定のサブセットへのアクセス権のみが与えられるため、データ提供者はテーブル全体、またはテーブルの特定のバージョンやパーティションのみを簡単に共有できます。
• データ提供者は、Delta LakeのACIDトランザクションを使用してリアルタイムで確実にデータを更新でき、利用者は常に一貫したビューを表示できます。
• データ利用者は、提供者と同じプラットフォームを使用する必要はなく、クラウド上にいる必要さえありません。共有はクラウド間、さらにはクラウドからオンプレミスのユーザーに対しても機能します。
• Delta Sharingプロトコルは、すでにParquetを理解しているクライアントであれば、非常に簡単に実装できます。オープンソースのエンジンやBIツールを使用したプロトタイプ実装のほとんどは、わずか1〜2週間で構築できました。
• 基盤となるクラウドシステムを使用することで、高速、安価、高信頼、かつ並列化可能なデータ転送が可能です。

オープンなエコシステム

前述の通り、私たちはデータ共有に対するオープンなアプローチを確立できることを嬉しく思っています。Nasdaqなどのデータプロバイダーからは、それぞれ異なる分析ツールを使用している多様な消費者にデータを届けるのは難しすぎるという声を一様にいただいています。

「私たちは、組織間での安全なデータ共有とコラボレーションを簡素化するオープンプロトコルというDelta Sharingのビジョンを支持しています。Delta Sharingは、パートナーとの連携方法を強化し、運用コストを削減し、より多くのユーザーがNasdaqの包括的なデータスイートにアクセスしてインサイトを発見し、財務戦略を策定できるようにします」と、Nasdaqのオルタナティブデータ部門責任者であるBill Dague氏は述べています。

Delta Sharingにより、数十もの一般的なシステムが共有データに直接接続できるようになり、あらゆるユーザーがデータを利用できるようになるため、すべての参加者の摩擦が軽減されます。私たちは現在、数十のパートナーと協力してDelta Sharingの標準を策定しており、皆様の参加を歓迎します。
これらの企業の多くが、本日のローンチに対して支持を表明しています。

BIツール： Tableau、Qlik、Power BI、Looker
分析： AtScale、Dremio、Starburst、Microsoft Azure、Google BigQuery
ガバナンス： Collibra、Immuta、Alation、Privacera
データプロバイダー： FactSet、Nasdaq、Precisely、Safegraph、Atlassian、AWS、Foursquare、ICE、Qandl、S&P、SequenceBio

DatabricksにおけるDelta Sharing

Databricksのお客様は、Unity CatalogでDelta Sharingのネイティブ統合を利用できるようになり、組織内および組織間でのデータ共有を効率化できます。管理者は、新しい CREATE SHARE SQL構文またはREST APIを使用して共有を管理し、すべてのアクセスを中央で監査できます。受信者は、任意のプラットフォームからデータを利用できます。プレビューアクセスや最新情報を受け取るには、ウェイトリストにご登録ください。

ロードマップ

Delta Sharingのこの最初のバージョンは、ほんの始まりに過ぎません。プロジェクトの開発を進めるにつれ、ストリーム、SQLビュー、あるいは機械学習モデルのような任意のファイルなど、他のオブジェクトの共有にも拡張していく予定です。私たちはデータ共有の未来はオープンであると信じており、このアプローチを他の共有ワークフローにも導入できることを非常に楽しみにしています。

Delta Sharingを始める

オープンソースのDelta Sharingリリースを試すには、delta.io/sharingの指示に従ってください。また、Databricksのお客様は、サービスの最新情報を受け取るためにご登録ください。皆様からのフィードバックをお待ちしております。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事