Delta Sharingの一般提供開始を発表

本日、AWSとAzureにおいてDelta Sharingの一般提供（GA）が開始されたことを発表いたします。このGAリリースにより、Databricks Lakehouse Platform上のミッションクリティカルなワークロードに対して、Databricksが提供する最高水準の安定性、サポート、エンタープライズ対応を期待していただけます。

本ブログでは、組織がデータのビジネス価値を最大化するためにDelta Sharingをどのように活用しているか、GAリリースで利用可能ないくつかの主要機能、そしてDatabricks Lakehouse PlatformでDelta Sharingを使い始める方法について探っていきます。

レイクハウスからのデータ共有のオープン標準でお客様にメリットを

デジタル経済において、企業が顧客、パートナー、サプライヤー、社内の部門（LOBs）と簡単かつ安全にデータを交換し、コラボレーションを強化してデータから価値を引き出そうとする中、データ共有は重要性を増しています。しかし、標準ベースのデータ共有プロトコルが存在しないため、特定のベンダーや商用製品に依存したソリューションとなり、ベンダーロックインのリスクが生じていました。こうしたお客様の課題を解決するため、Databricksはオープンなデータ共有ソリューションであるDelta Sharingを構築しました。

Delta Sharingは、レイクハウスから任意のコンピューティングプラットフォームへ、ライブデータを安全に共有するためのオープンなソリューションを提供します。データの受信者は、Databricks Lakehouse Platformを利用している必要はなく、同じクラウドである必要も、そもそもクラウドを利用している必要すらありません。データ提供者は、Apache ParquetやDelta Lake形式に基づく既存の大規模データセットを、別のシステムに複製またはコピーすることなく共有できます。データ受信者は、常に最新バージョンのデータにアクセスでき、好みのツールを使って共有データをクエリ、可視化、変換、取り込み、または強化できるため、価値創出までの時間を短縮できます。ガバナンスとセキュリティは多くの組織にとって最大の懸念事項であるため、Delta SharingはUnity Catalogとネイティブに統合されており、共有データの管理、ガバナンス、監査、利用状況の追跡を単一のプラットフォーム上で行うことができます。

昨年、プライベートプレビューでDelta Sharingをローンチして以来、何百ものお客様がDelta Sharingを採用しており、現在ではペタバイト規模のデータがDelta Sharingを通じて共有されています。

Nasdaq：「Delta Sharingは、大規模データセットのデータ配信プロセスの合理化に役立ちました。これにより、お客様は独自のコンピューティング環境を持ち込んで、統合の手間をほとんどかけずに最新のキュレーションデータを読み取ることができ、当社は独自の高品質なデータ製品のカタログを拡大し続けることができます。」— William Dague氏（オルタナティブデータ部門責任者）

Shell：「データのオープン性が、Shellのカーボンネットゼロの目標達成において重要な役割を果たすと認識しています。Delta Sharingは、パートナーが同じデータ共有プラットフォーム上にいることを要求せずに、これらの目標に向けて膨大なデータをパートナーと簡単かつ安全に共有するための、標準化され、管理された安全なプロトコルをShellに提供します。」— Bryce Bartmann氏（チーフデジタルテクノロジーアドバイザー）

SafeGraph：「データ企業として、お客様に当社のデータセットへのアクセスを提供することは極めて重要です。Delta Sharingを搭載したDatabricks Lakehouse Platformは、そのプロセスを真に合理化し、クラウドやプラットフォームに関係なく、より幅広いユーザー層に安全にアプローチすることを可能にします。」— Felix Cheung氏（エンジニアリング部門VP）

YipitData：「Delta Sharingにより、当社のクライアントはキュレーションされたデータセットにほぼ瞬時にアクセスし、選択した分析ツールと統合することができます。クライアントとの対話は、データの取り込みに関する価値の低い技術的なやり取りから、クライアントの成功体験を促進する価値の高い分析的な議論へとシフトします。クライアントとの関係が進化するにつれて、Delta Sharingを通じて新しいデータセットをシームレスに配信し、既存のデータセットを更新して、クライアントが業界の主要なトレンドを常に把握できるようにすることができます。」— Anup Segu氏（データエンジニアリング・テックリード）

Pumpjack Dataworks：「DatabricksのDelta Sharingの強力な機能を活用することで、Pumpjack Dataworksはより迅速なオンボーディング体験を実現でき、データの輸出入や再モデリングの必要性がなくなるため、クライアントに即座に価値をもたらすことができます。より迅速な結果は、クライアントとそのパートナーにより大きなビジネスチャンスをもたらします。」— Corey Zwart氏（最高技術責任者）

GAリリースにおけるDelta Sharingの新機能

GAリリースにおけるDelta Sharingには数多くの素晴らしい機能が含まれていますが、ここでは本リリースで提供される主な機能の一部をご紹介します。

シームレスなDatabricks間での共有

Databricksのお客様にとって、Delta Sharingはレイクハウス上でのデータ共有を非常にシンプル、効率的、かつ安全にします。データ提供者は、UIを数回クリックするかSQLコマンドを実行するだけで、データを複製することなく、Databricks上の受信者と既存のデータを簡単に共有できます。たとえば、AWS上のDatabricksを使用しているデータ提供者は、Azure上のDatabricksを使用している受信者と既存のデータを共有でき、その逆も可能です。詳細については、ユーザーガイドをご覧ください。Databricks間での共有では、データ提供者はDatabricksを使用している受信者のトークン資格情報を管理する必要はありません。共有接続はDatabricksプラットフォームを通じて安全に確立されます。ログインに必要なのはDatabricksアカウントだけで、残りの処理はプラットフォームが自動的に行います。アカウント間でのデータ共有に加えて、もう1つの重要なユースケースは社内データ共有です。異なるリージョンの同一アカウント配下に複数のUnity Catalogメタストアがある場合、データをコピーすることなく、Delta Sharingを使用してそれらのメタストア間で簡単にデータを共有できます。データ提供者側から見たSQLワークフローの例：

データ受信者側から見たSQLワークフローの例：

Change Data Feedの共有

Delta SharingがChange Data Feed（CDF）の共有をサポートするようになりました。データ提供者は、テーブルを共有するだけでなく、そのテーブルのCDFを含めることを選択できるため、受信者はテーブルの特定のバージョン間またはタイムスタンプ間の変更をクエリできるようになります。この機能により、受信者は毎回テーブル全体をクエリする代わりに、新しいデータや増分変更のみをクエリできます。データ提供者はCDFを含むテーブルを簡単に共有でき、データ受信者はシンプルな構文でテーブルの変更をクエリできます。

強化されたセキュリティ機能

Delta SharingのGAリリースでは、共有をさらに安全にするための一連のセキュリティ機能も導入されています。これらのセキュリティ機能の一例が、IPアクセスリストです。データ提供者は、オープンコネクタを使用する受信者ごとにIPアクセスリストを設定できるようになりました。これにより、資格情報のダウンロードとデータアクセスを、ターゲットのIPアドレスからのみ開始できるように制限できます。また、Delta Sharingに関連するいくつかの権限（例：CREATE SHARE, CREATE RECIPIENT）を追加し、ShareやRecipientなどのDelta Sharingオブジェクトに対してowner（所有者）の概念を導入しました。これらのプリミティブにより、Databricks上のDelta Sharingはより柔軟なアクセス制御モデルを提供し、管理者以外のユーザーも共有操作を実行できるようになります。

DatabricksでDelta Sharingを使い始める

Delta Sharing を使用して、レイクハウスから任意のコンピューティングプラットフォームにライブデータをシームレスに共有する方法については、以下のデモをご覧ください。

すでに Databricks をご利用のお客様は、ガイドに従って開始してください（AWS | Azure）。このGAリリースに含まれる内容の詳細については、リリースノートをご覧ください。まだ Databricks をご利用でない場合は、Premium または Enterprise ワークスペースの無料トライアルにお申し込みください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事