Cloudflare R2との統合によるDelta Sharingのパブリックプレビューを発表

あらゆる業界の組織が、クラウドやリージョンに関係なく、データやAIアセットを単一の統一された方法で共有したいと考えています。しかし、多くの組織は依然として、プラットフォームの互換性の問題や制限、高額なデータ転送（エグレス）コスト、ガバナンスやセキュリティの欠如に直面しており、顧客、チーム、パートナーとのデータ共有に苦労しています。DatabricksとLinux Foundationは、安全なデータ共有のための初のオープンなアプローチとしてDelta Sharingを開発しました。お客様はDelta Sharingを使用して、データを複製することなく、プラットフォーム、クラウド、リージョン間で簡単かつ安全にデータを共有しています。

本日、クラウドやリージョンをまたいでデータを共有するお客様のデータ転送（エグレス）コスト削減を支援するため、Cloudflare R2と統合されたDelta Sharingのパブリックプレビューを開始したことをお知らせします。Databricksは、Cloudflareのデータ転送料（エグレス料金）無料の分散型オブジェクトストレージサービスであるCloudflare R2からのDelta Sharingをサポートするようになりました。両社共通のお客様は、リージョンをまたぐ高コストなデータ複製の必要がなく、ベンダーロックインもなしで、データ転送料金無料のメリットを享受できるようになります。

Cloudflareとの戦略的パートナーシップ

DatabricksはCloudflareと提携し、組織がクラウドやリージョンに関係なく、単一の統一された方法で顧客やパートナーとデータを共有できるようにしました。Cloudflare R2は、Cloudflareが提供するデータ転送料無料の分散型ストレージであり、セキュリティとプライバシーを損なうことなく、最新のデータセットをパートナー、サプライヤー、事業部門と共有することを可能にします。

Cloudflareの共同創設者兼CEOであるMatthew Prince氏は、このパートナーシップの価値について次のように説明しています。「Cloudflareの大規模なグローバルネットワークとデータ転送料無料のストレージ、そしてDatabricksの強力な共有・処理機能の組み合わせにより、両社共通のお客様は、世界中で最も高速、安全、かつ手頃な価格のデータ共有機能を利用できるようになります。」

Delta SharingとCloudflare R2を併用することで、お客様はデータやAI（ライブデータセット、モデル、ノートブック）の移動先や使用場所を自らコントロールできるようになり、複製の必要なく、データ転送コストゼロ、ベンダーロックインなしで、セキュリティとガバナンスを維持しながら、プラットフォーム、クラウド、リージョン間で最新の資産を共有できます。

"Cloudflareの大規模なグローバルネットワークとデータ転送料無料のストレージ、そしてDatabricksの強力な共有・処理機能の組み合わせにより、両社共通のお客様は、世界中で最も高速、安全、かつ手頃な価格のデータ共有機能を利用できるようになります。" —Matthew Prince, CEO & Co-founder Cloudflare

「Delta Sharingは、多様なコンピューティングプラットフォーム、クラウド、リージョン間でデータを共有するための初のオープンプロトコルを提供します。これによりオープンな相互交換が促進され、すべてのお客様がより簡単にコラボレーションできるようになることを嬉しく思います」と、Databricksの共同創設者兼CTOであるMatei Zahariaは、Cloudflareとのパートナーシップについて説明しています。

"Delta Sharingは、多様なコンピューティングプラットフォーム、クラウド、リージョン間でデータを共有するための初のオープンプロトコルを提供します。これによりオープンな相互交換が促進され、すべてのお客様がより簡単にコラボレーションできるようになることを嬉しく思います。" —Matei Zaharia, Co-Founder and CTO at Databricks

Allium、Delta SharingとCloudflare R2の活用で年間最大64万5,000ドルを削減

過去15年間で、ブロックチェーン技術の導入とさまざまな業界における暗号資産の利用により、金融業界は一変しました。この進化により、パブリックブロックチェーンから生成されるトランザクションデータは増え続けており、投資家やトレーダーはそこから極めて重要なリアルタイムのインサイトを得ることができます。

Alliumは、高速かつ正確なブロックチェーンデータを提供するシンプルなデータプラットフォームを展開する、Databricksのお客様です。同社は、金融機関から暗号資産ネイティブの企業にいたるまで、顧客がデータの力を最大限に引き出せるよう支援しています。Alliumは、専用のデータインフラストラクチャに加え、管理型ブロックチェーンデータベース、強化されたデータスキーマ、リアルタイム通知機能などの製品を提供しています。同社はこの分野のリーダーであり、EVMやBitcoinを含む15のブロックチェーン、100以上のスキーマ、250 TB以上のデータサイズに対応し、トレーダー向けの会計や監査から、NFTマーケットプレイスにおけるウォッシュトレード（仮装売買）のフィルタリングにいたるまで、あらゆる暗号資産アプリケーションを強化しています。Alliumは、顧客がどのようなデータ環境にいても対応できるため、前四半期には月間1 PB以上のデータ転送を記録しました。このボリュームは、ETFへの期待感に伴う最近の暗号資産市場の回復を受けて、さらに急増し続けています。

データ転送量の爆発的な増加はAlliumの急速なビジネス成長に貢献した一方で、収益面における大きな課題ももたらしました。それは、顧客のニーズを満たす、コスト効率の高いデータストレージおよび共有ソリューションをどのように構築するかという点です。具体的には、クラウドやリージョンをまたいで、あらゆる場所の顧客とデータを共有しながら、クラウドベンダーからの高額なデータ転送（エグレス）コストをいかに最小限に抑えるかという課題でした。

Delta SharingとCloudflare R2の共同ソリューションを採用する前、Alliumは他のプラットフォームを導入していましたが、1 PBのデータ転送に対して月額5万3,800ドル（年間約64万5,000ドル）に達する見積もりとなり、極めて高額であることが判明しました。

「当初はSnowflakeのレプリケーションシステムを利用していましたが、コントロールが難しく、コストもかさみました。Snowflakeでは、異なるリージョンにデータを提供するためにそのリージョンにデータを複製する必要があるため、自動的に多額のストレージコストとデータ転送コストが発生します。この費用は、当社の規模で頻繁に発生する運用スキーマの変更のたびに、指数関数的に増加してしまいます」と、Alliumの共同創設者兼CEOであるEthan Chan氏は説明します。

"Snowflakeでは、異なるリージョンにデータを提供するためにそのリージョンにデータを複製する必要があるため、自動的に多額のストレージコストとデータ転送コストが発生します。この費用は、当社の規模で頻繁に発生する運用スキーマの変更のたびに、指数関数的に増加してしまいます。" —Ethan Chan, Co-Founder and CEO of Allium

Delta SharingとCloudflare R2の組み合わせにより、Alliumは、高コストで複雑な複製やベンダーロックインを必要としない、コスト効率が高く安全なデータ共有ソリューションを手に入れました。Alliumは現在、Delta Sharingのマルチクラウドサポートにより、データの移動先や使用場所を自らコントロールできるようになり、クラウドストレージをCloudflare R2に統合して次世代のデータ共有プラットフォームを構築しています。

Chan氏は次のように説明します。「Delta SharingとCloudflare R2を組み合わせることで、信頼性が高くコスト効率の良い方法で顧客にデータを提供できるようになりました。ストレージコストとデータ転送コストを最小限に抑え、年間最大64万5,000ドルを節約しながら、顧客が好む環境で最高品質のブロックチェーンデータを提供しています。さらに、これによりコントロールとセキュリティの両方が確保され、サービスを持続的に拡張することができます。」

Alliumはこの統合を利用して、追加のコピーを作成せずにParquetテーブル形式をシームレスに統合する方法であるDelta UniForm（Delta Lake Universal Format）を使用してブロックチェーンデータを永続化し、コスト削減を最大化しています（下図参照）。Alliumは、Cloudflare R2に保存されたデータを読み取るApache IcebergおよびDeltaコネクタを有効にしています。また、Delta Sharingを実装して、リージョンやプラットフォームをまたいでデータをシームレスかつ安全に共有しており、これらはすべて送信時のデータ転送コストゼロで実現されています。

"Delta SharingとCloudflare R2を組み合わせることで、信頼性が高くコスト効率の良い方法で顧客にデータを提供できるようになりました。ストレージコストとデータ転送コストを最小限に抑え、年間最大64万5,000ドルを節約しながら、顧客が好む環境で最高品質のブロックチェーンデータを提供しています。" —Ethan Chan, Co-Founder and CEO of Allium

Alliumは最近、製品ラインを拡張し、現在Databricks Marketplaceに掲載されているEthereum Realtime Dataの共有を開始しました。このデータセットは、暗号資産分野のユーザーがEthereumの動向に関する貴重なインサイトを共有するのを支援します。購入可能であり、スマートコントラクト、NFT、分散型金融（DeFi）市場など、Ethereumのブロックチェーンに関するさまざまな詳細情報が含まれています。

業界における主なユースケース

Delta SharingとCloudflare R2の利用からメリットを得られる顧客タイプのもう一つの例は、一般的に使用される「ハブ＆スポーク」アーキテクチャパターンを使用するデータアグリゲーターです。データアグリゲーターは、多様なソースからデータを収集して統合し、統一された一貫性のあるデータセットにすることに特化しています。「ハブ＆スポーク」のデータ共有シナリオは、1対多として定義され、1つの組織が多くのクライアントと共有します。これらのデータアグリゲーターは、データセットを収集、統合し、異なるリージョン、クラウド、プラットフォームにわたるさまざまなクライアントに共有することに特化しています。しかし、これらの組織は共通の課題に直面しています。それは、コスト効率が高く、予測可能な方法でデータ共有をスケールさせる方法です。理想的には、クライアントの数が増えても共有コストがわずかしか増加しないように、規模の経済のメリットを享受できることです。さらに、コスト削減のためにクライアントがデータレプリケーションを採用することに依存せず、予測可能なアプローチでコスト管理を完全にコントロールしたいと考えています。

データアグリゲーターを一般的に使用する業界には、金融サービス、ヘルスケア・ライフサイエンス、メディア・エンターテインメントなどがあります。データの共有は、意思決定、市場分析、研究、全体的なビジネス運営のサポートなど、重要なビジネスニーズの推進に役立ちます。たとえば、データアグリゲーターは、ユーザーの金融情報に安全にアクセスして分析することにより、家計簿アプリ、投資プラットフォーム、融資ソリューションなど、さまざまな金融アプリケーションやサービスの強化において極めて重要な役割を果たしています。業界別のユースケースについては、以下の表をご覧ください。

削減効果の算出と共同ソリューションの導入時期

クラウドのデータ転送（エグレス）コストは、通常、データ共有からクエリされるデータの量に比例して増加します。下の図は、クエリの数（およびデータ量）が増えるにつれて、エグレスコストも増加することを示しています。お客様はこのアプローチを使用して、さまざまなストレージソリューションを比較し、エグレスコストが発生しないCloudflare R2のソリューションを使用することによる費用対効果を定量化できます。下の図が示すように、Cloudflare R2のソリューションは、他のクラウドストレージソリューションと比較して大幅なコスト削減につながる可能性があります。

たとえば、標準的な価格設定の前提に基づくと、以下の分析は、データ転送アクティビティが月単位で異なるクラウド間で26%を超える、またはリージョン間で85%を超えるデータ資産において、ストレージコストとエグレスコストの両方で毎月大幅な削減効果を得られることを示しています。¹

Delta SharingとCloudflare R2のテストドライブ

Delta SharingとCloudflare R2は、現在パブリックプレビューでご利用いただけます。この共同ソリューションを実装するために、すべてのデータをCloudflare R2に移行する必要はありません（関連ブログ「Delta Sharingによるグローバルなデータコラボレーションの構築」を参照）。共有データをR2に1回レプリケーションするだけで、次の3つの簡単なステップで実行できます（下の図を参照）。

1. Cloudflare R2を外部ストレージの場所として追加する
2. Cloudflare R2に新しいテーブル、ボリューム、またはMLモデルを作成し、Deep Cloneを使用してデータを段階的に同期する
3. R2テーブル上に通常通りDelta Shareを作成する

詳細については、技術ドキュメントを参照してください。また、弊社のチーム（datacollaboration@databricks.com）にフィードバックを送信することもできます。

Delta SharingとCloudflare R2を併用することで、エグレスコストをゼロに抑え、ベンダーロックインを回避し、セキュリティとガバナンスを損なうことなく、プラットフォーム、クラウド、リージョン間でデータとAIを共有する新しいアプローチのメリットを享受できるようになります。

最新のリソースを活用して、Delta Sharingをデータコラボレーション戦略に統合する方法の詳細をご覧ください。

• O'Reillyの技術ガイド「Data Sharing and Collaboration with Delta Sharing」を読む（早期リリース版）
• DatabricksのDelta Sharingドキュメントを詳しく確認する。
• Delta Sharingについて詳しく読む：安全なデータ共有のためのオープンスタンダード
• Matei ZahariaによるDelta Sharingの発表ビデオを見る（Data + AI Summit 2021基調講演）

¹ コスト削減効果の算出は、データの10%が毎月更新され、データはS3にオリジナルコピーを保持したまま、共有目的でCloudflare R2にレプリケーションされるという前提に基づいています。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事