Delta Sharing によるデータ共有のユースケーストップ3

あらゆる規模の企業が顧客、サプライヤー、パートナーと安全にデータを交換しようとする中、データ共有はビジネス価値を高めるための不可欠な要素となっています。最近のガートナー社の調査によると、データ共有を推進する組織は、ほとんどのビジネス価値メトリクスにおいて同業他社を上回るでしょう。

既存のデータ共有ソリューションには、組織内または組織間のデータ共有を制限し、データの真の価値を実現できないという、さまざまな課題があります。過去30年間、データ共有ソリューションは、自社開発ソリューションとサードパーティの商用ソリューションの2つの形態で提供されてきました。自社開発のソリューションでは、データ共有はSFTPやREST APIsなどのレガシーテクノロジー上に構築されてきましたが、新しいデータ要件に対応して管理、維持、拡張することが困難になっています。あるいは、商用のデータ共有ソリューションでは、同じプラットフォームを利用している他のユーザーとしかデータを共有できず、データ共有が制限され、コストがかかる可能性があります。

これらの課題をきっかけに、私たちDatabricksは、データ共有の未来をオープンなものとして再考するようになりました。Data + AI Summit 2021において、私たちは安全かつスケーラブルなリアルタイムのデータ共有のための世界初のオープンプロトコルであるDelta Sharingを発表しました。Delta Sharing の背後にある私たちのビジョンは、データが存在または消費されるプラットフォームに関係なく、組織間で安全なライブデータ共有を簡素化するデータ共有ソリューションを構築することです。Delta Sharing を使用すると、組織はデータを移動することなく、Apache Parquet と Delta Lake のフォーマットに基づいた既存の大規模データセットを簡単に共有でき、データチームは選択したツールで共有データをクエリー、可視化、エンリッチする柔軟性を得ることができます。

プライベート プレビューの開始以来、あらゆる業界の顧客から多大なるご協力をいただき、目的に合った、誰にでも開かれたデータ共有ソリューションを共同で開発してまいりました。顧客は、Delta Sharingを使用してすでにペタバイト級のデータを共有しています。発表以来、Delta Sharingのパートナーエコシステムも成長しており、PowerBI、Pandas、Apache Spark™などの商用およびオープンソースのクライアントにDelta Sharingコネクタが組み込まれ、その他多数もまもなくリリースされる予定です。

お客様との対話を通じて、データの商業化、外部パートナーや顧客とのデータ共有、基幹業務のデータ共有という 3 つの一般的なユースケースを特定しました。このブログ記事では、主要な各ユースケースを探り、顧客から寄せられている知見をいくつか共有します。

ユースケース 1: データの商用化

顧客事例: ある金融データ プロバイダーは、従来のデータ配信チャンネルにおける運用の非効率性を削減し、エンド顧客が大規模な新しいデータセットにシームレスにアクセスしやすくすることを検討していました。

課題

このデータプロバイダーは最近、大規模な新しいテキストデータセットの提供を開始し、定期的にテラバイト級のデータが生成されています。データ受信者がデータセットを一括で取り込むことが困難であったため、これらの大規模なデータセットへの迅速かつ簡単なアクセスを提供することは、データプロバイダーにとって長年の課題でした。現在のソリューションでは、プロバイダーは外部のSFTPサーバーにデータを複製する必要がありましたが、これには多くの潜在的な障害点があり、レイテンシも増加していました。

受信側では、そのサイズと規模から、このデータを取り込んで管理するのは容易ではありませんでした。データ受信者は、取り込み用のインフラストラクチャをセットアップする必要がありましたが、それにはさらにIT部門やデータベース管理者の承認が必要でした。その結果、エンドユーザーがデータを使用できるようになるまでに数週間、場合によってはそれ以上の遅延が発生していました。

Delta Sharingがどのように役立つか

Delta Sharingを使用することで、データプロバイダーは大規模なデータセットをシームレスに共有できるようになり、SFTPサーバーのスケーラビリティ問題を克服できます。これまでSFTPにバッチで抽出する必要があったこれらのテラバイト規模の巨大なテキストデータセットは、Delta Sharingを通じてリアルタイムでアクセスできるようになりました。プロバイダーはデータを複製する代わりに、データ受信者へのアクセスを許可・管理するだけでよくなり、複雑さとレイテンシが軽減されました。スケーラビリティが向上したことで、データコンシューマーはデータセットを定期的にプルする必要なくライブデータにアクセスできるようになったため、データプロバイダーは顧客導入の大幅な増加を目の当たりにしています。

ユースケース2：外部パートナー/顧客とのデータ共有

顧客事例: ある大手小売業者は、パートナーと同じデータ共有プラットフォームやクラウド コンピューティング プラットフォームを利用していなくても、製品データ（例: シリアルの SKU 別売上）をパートナーと簡単に共有する必要がありました。小売業者は、パートナーがリアルタイムで関連データに簡単にアクセスできるように、SKU に基づいてパーティション化されたデータセットを作成したいと考えていました。

課題

その小売業者は、パートナーとデータを共有するために自社開発のSFTPとAPIを利用していましたが、それらは管理不能な状態になっていました。このソリューションの維持と運用には、かなりの開発リソースが必要でした。その小売業者が検討した他のデータ共有ソリューションは、パートナーも同じプラットフォームを利用する必要がありましたが、コストの問題や、異なるリージョン間でデータを複製する際の運用上のオーバーヘッドのため、関係者全員にとって現実的な選択ではありませんでした。

Delta Sharingがどのように役立つか

Delta Sharingは、リージョン間でデータを複製する必要なく、クラウドプラットフォーム間でデータを効率的に管理・共有できるため、この小売業者にとって魅力的な提案でした。その小売業者は、Delta Sharing を使用することで、100 社を超えるパートナーとのデータ共有の管理、作成、監査を簡単に行えることに気づきました。各パートナーについて、小売業者は同じデータプラットフォーム上にいる必要なく、簡単にパーティションを作成してデータを安全に共有できます。共有の管理を容易にするだけでなく、Delta Sharing はコストも最小限に抑えます。これは、データ プロバイダーが負担するのは、基盤となるクラウド プロバイダーからのデータ エグレス コストのみであり、データ共有のためのコンピューティング料金を支払う必要がないためです。

ユースケース3：事業部門との内部データ共有

顧客事例: ある製造業者は、15を超える事業部や子会社に所属するデータサイエンティストが、予測モデルを構築するために権限を付与されたデータにアクセスできるようになることを望んでいます。メーカーは、データの機密性を考慮し、強力なガバナンス、統制、監査機能を備えた上でこれを実行したいと考えています。

課題

このメーカーでは多数のデータレイクがデプロイされており、組織全体のチームがデータに安全かつ効率的にアクセスするのが困難になっています。組織全体にわたるこのすべてのデータの管理は、権限やガバナンスに対する強力な管理がなく、個別対応で行われていました。さらに、これらのデータセットの多くはペタバイト規模であるため、このデータをスケーラブルに共有できるかという点に懸念が生じています。経営陣は、適切なデータアクセス制御とガバナンスなしでデータを共有することにためらいがありました。その結果、このメーカーは価値を引き出し、データサイエンスチームによりユニークな知見をもたらす貴重な機会を逃していました。

Delta Sharingがどのように役立つか

Delta Sharingを利用することで、メーカーはデータを移動させることなく、組織内の異なるエンティティ間でデータを管理・共有できるようになりました。Delta Sharing では単一のアクセスポイントを強制することで、共有データに対するアクセス権の許可、追跡、監査が可能です。これらの大規模なデータセットを移動させる必要がないため、メーカーはデータを複製するためにさまざまなサービスを管理する心配がありません。Delta Sharingにより、メーカーは予想をはるかに上回る速さで安全にデータを共有できるようになりました。その結果、エンドユーザーは、これまでサイロ化されていた独自のデータセットでの作業を開始でき、即座にメリットを享受することができました。また、この製造元は、データ可視化の主要ツールとしてPowerBIを使用しており、組み込みのDelta Sharingコネクタの活用にも意欲的です。

Delta Sharing を始めましょう

Delta Sharingは、使用しているデータプラットフォームに関係なく、他の組織とデータを簡単に共有できるようにします。データチームが組織間でデータを簡単に共有し、プライバシー、セキュリティ、コンプライアンスを管理するのに役立つ、ベンダーロックインのないオープンで安全な初のソリューションを発表できることを大変嬉しく思います。

Databricks で Delta Sharing をお試しになるには、Databricks のアカウント エグゼクティブにお問い合わせいただくか、サインアップして早期アクセスをご利用ください。多くの顧客にとって、データを共有する際のガバナンスは最大の関心事です。Delta SharingはUnity Catalogとネイティブに統合されており、お客様はきめ細かいガバナンスとセキュリティ コントロールを追加することで、組織内外でデータを簡単かつ安全に共有できるようになります。Databricks アカウントで Unity Catalog を有効にしたら、以下のクイックスタート ノートブックをお試しいただき、Databricks で Delta Sharing を開始してください:

1. 共有を作成し、データ受信者にアクセス権を付与する
2. 共有に接続してデータにアクセスする

オープンソースの Delta Sharing のリリースを試すには、delta.io/sharing の手順に従ってください。

Delta Sharing オープンソース プロジェクトへの参加に興味がありますか？

Delta Sharing プロジェクトに関する皆様からのフィードバックや、新機能に関するアイデアやコントリビューションをお待ちしております。こちらの手順に従って、Delta Sharing コミュニティにご参加ください。