Delta Sharing 一般提供を開始

本日、Delta SharingがAWSおよびAzureで一般提供（GA）されたことを発表します。GAリリースにより、Databricks Lakehouse Platform上のミッションクリティカルなワークロードに対して、Databricksが提供する最高レベルの安定性、サポート、エンタープライズ対応をご期待いただけます。

このブログでは、組織がDelta Sharingを活用してデータのビジネス価値を最大化する方法、GAリリースで利用可能な主要機能、そしてDatabricks Lakehouse PlatformでDelta Sharingを始める方法について探ります。

レイクハウスからのデータ共有のオープンスタンダードは、お客様にメリットをもたらします

企業が顧客、パートナー、サプライヤー、社内の事業部門 (LOB) と簡単かつ安全にデータを交換し、連携を深めてデータから価値を引き出そうとする中、デジタル経済においてデータ共有は重要性を増しています。しかし、標準ベースのデータ共有プロトコルがないため、単一のベンダーや商用製品に紐づいたソリューションが生まれ、ベンダーロックインのリスクが生じていました。これらの顧客の課題をきっかけに、Databricks はオープンなデータ共有ソリューションである Delta Sharing を構築しました。

Databricks の Delta Sharing は、レイクハウスからのライブデータをセキュアに共有するためのオープンなソリューションです。あらゆるコンピューティングプラットフォームでの共有を可能にします。データ受信者は、Databricks Lakehouse Platform上にある必要も、同じクラウド上にある必要も、あるいはどのクラウド上にある必要もありません。データプロバイダーは、別のシステムにデータセットを複製またはコピーすることなく、Apache Parquet または Delta Lake 形式に基づいた既存の大規模なデータセットを共有できます。データ受信者は、常に最新バージョンのデータにアクセスし、任意のツールで共有データに対してクエリー、可視化、変換、取り込み、エンリッチを実行できるため、価値実現までの時間を短縮できます。多くの組織にとってガバナンスとセキュリティは最大の懸念事項であるため、Delta SharingはUnity Catalogとネイティブに統合されており、1つのプラットフォームで共有データの使用状況の管理、統制、監査、追跡が可能です。

昨年、プライベートプレビューでDelta Sharingを発表して以来、数百社もの顧客にご活用いただいており、今日では、Delta Sharingを通じてペタバイト規模のデータが共有されています。

Nasdaq: 「Delta Sharing は、大規模なデータセットのデータ配信プロセスを効率化するのに役立ちました。これにより、お客様は統合の作業をほとんど、あるいはまったく行うことなく、独自のコンピュート環境を使用して最新のキュレーションされたデータを読み取ることが可能になり、当社は独自の高品質なデータ製品のカタログを拡大し続けることができます」 - William Dague、オルタナティブデータ部門責任者

シェル：「データのオープン性が、Shell のカーボンネットゼロという目標を達成する上で重要な役割を果たすと認識しています。Delta Sharingは、パートナーが同じデータ共有プラットフォーム上にいることを要求せずにこれらの目標に向かって協力できるよう、大量のデータを容易に共有するための、標準化され管理された安全なプロトコルをシェルに提供します」 - ブライス・バートマン、チーフデジタルテクノロジーアドバイザー

SafeGraph：「データ企業として、顧客に私たちのデータセットへのアクセスを提供することは極めて重要です。」「Delta Sharingを搭載したDatabricks Lakehouse Platformは、そのプロセスを真に効率化し、クラウドやプラットフォームに関係なく、はるかに幅広いユーザーベースに安全にリーチできるようにしてくれます」- フェリックス・チャン、エンジニアリング担当VP

「Dalta Sharing により、顧客はキュレートされたデータセットにほぼ瞬時にアクセスし、任意の分析ツールに統合できるようになりました。顧客とのやり取りは、かつてはインジェストなどに関する基本的な内容が多かったのですが、今では分析に関するものなど高度な内容になり、顧客体験の向上につながっています。Delta Sharing によって、新たなデータセットの供給と既存データの更新がシームレスになり、顧客における各業界の動向把握を可能にしています。」YipitData データエンジニアリング技術主任　Anup Segu 氏

Pumpjack Dataworks: "DatabricksのDelta Sharingの強力な機能を活用することで、Pumpjack Dataworksはより迅速なオンボーディング体験を実現し、データのエクスポート、インポート、再モデリングの必要性をなくすことができ、お客様に即時の価値をもたらします。"「より迅速な成果は、クライアントとそのパートナーに、より大きなビジネスチャンスをもたらします」 - コーリー・ズワート、最高技術責任者

Delta Sharing GA の新機能

Delta SharingのGAリリースには素晴らしい機能が多数ありますが、このリリースで提供する主な機能の一部を以下に示します。

シームレスなDatabricks-Databricks共有

Databricks のお客様にとって、Delta Sharing はlakehouseでのデータ共有を非常にシンプル、効率的、かつ安全にします。データプロバイダーは、わずか数回の UI クリックまたは SQL コマンドだけで、データを複製することなく、Databricks 上の受信者と既存のデータを簡単に共有できます。たとえば、AWS 上で Databricks を使用しているデータプロバイダーは、Azure 上で Databricks を使用している受信者と既存のデータを共有でき、その逆も可能です。詳細については、ユーザーガイドをご覧ください。Databricks-to-Databricks 共有では、データプロバイダーは Databricks を使用している受信者のトークン認証情報を管理する必要はありません。共有接続は、Databricks プラットフォームを介して安全に確立されます。ログインに必要なのは Databricks アカウントだけで、あとはプラットフォームがすべて処理します。アカウント間のデータ共有に加えて、もう一つの重要なユースケースは内部でのデータ共有です。異なるリージョンで同じアカウントに複数の Unity Catalog メタストアがある場合、Delta Sharing を使用してデータをコピーすることなく、それらのメタストア間でデータを簡単に共有できます。データプロバイダーの視点から見た SQL ワークフローの例:

データ受信者の視点による SQL ワークフローの例：

チェンジデータフィードの共有

Delta Sharing で、チェンジデータフィード (CDF) の共有がサポートされるようになりました。データプロバイダーは、テーブルの共有に加えてテーブルのチェンジデータフィードを含めることを選択すると、受信者はテーブルの特定のバージョンまたはTimestamp間の変更をクエリーできるようになります。この機能により、受信者は毎回テーブル全体ではなく、新しいデータや増分変更のみをクエリーできます。データプロバイダーはチェンジデータフィードを使用してテーブルを簡単に共有でき、データ受信者は簡単な構文でテーブルの変更をクエリーできます：

強化されたセキュリティ機能

Delta Sharing の GA（一般提供）版では、共有をさらに安全にするための一連のセキュリティ機能が追加されました。これらのセキュリティ機能の一例として IP アクセス リスト があります。データプロバイダーは、オープンコネクタを使用して、各受信者に対して IP アクセスリストを設定できるようになりました。これにより、資格情報のダウンロードとデータアクセスは、ターゲット IP アドレスからのみ開始できるようになります。また、Delta Sharing 関連の権限をさらにいくつか追加しました (例:CREATE SHARE, CREATE RECIPIENT ）と、 Share や Recipient のようなDelta Sharingオブジェクトに owner （所有者）の概念が導入されました。これらのプリミティブにより、Databricks 上の Delta Sharing はより柔軟なアクセス制御モデルを提供し、管理者以外のユーザーも共有操作を実行できます。

DatabricksでのDelta Sharing入門

Delta Sharing を利用して、lakehouseからあらゆるコンピューティング プラットフォームにライブデータをシームレスに共有する方法の詳細は、以下のデモをご覧ください。

すでにDatabricksのお客様である場合は、ガイドに従って開始してください（AWS | Azure）。今回の一般提供リリースに関する詳細は、リリースノートをご覧ください。Databricksの既存のお客様でない場合は、PremiumまたはEnterpriseワークスペースでフリートライアルにお申し込みください。