クロスプラットフォームのビュー共有のパブリックプレビュー開始のお知らせ

クロスプラットフォームのビュー共有のパブリックプレビューが開始されたことを嬉しくお知らせします。本日より提供が開始され、データプロバイダーは異なるプラットフォーム、クラウド、リージョン間でビューを共有できるようになり、オープンで相互運用可能なデータエコシステムが促進されます。

ビュー共有はこれまでも有用な機能であり、他のベンダーも提供しています。しかし、これまでは主に同一プラットフォーム内に限定されていました。1つのプラットフォーム内でのビュー共有は可能でしたが、複数のプラットフォームやクラウドにまたがる共有はできませんでした。Databricksは、クロスプラットフォームのビュー共有によってこの課題を解決し、異なる環境間でシームレスにビューを共有できるようにします。これにより、データプロバイダーのリーチが広がり、データコンシューマーのベンダーロックインが回避されるため、コラボレーションがより簡単かつ迅速になります。これはまさにゲームチェンジャーです。

クロスプラットフォームの共有は、異なるプラットフォーム、クラウド、リージョン間での安全でシームレスなデータ交換を可能にすることで、Databricksのオープンな共有ビジョンに合致しています。

ビュー共有とは

ビュー共有を理解するために、まずはビューについて理解しましょう。Databricksにおけるビューとは、テーブルや他のビューから作成されるデータの読み取り専用の表現です。ビューにはクエリテキストが保存されますが、データ自体は保存されません。ビューはUnity Catalogの一部です。

ビュー共有を使用すると、ユーザーはDelta Sharingプロトコルを使用してビューを共有できます。Delta Sharingは、安全なデータ共有のための業界初のオープンプロトコルであり、他の組織がどのデータプラットフォームを使用しているかに関係なく、データを簡単に共有できるようにします。ビュー共有は、複数のユーザーが分析のために同じビューにアクセスして利用できるため、再利用性を高め、冗長性を削減します。
 

以前は、Databricksアカウント間でビューを共有する場合、コンシューマーはDatabricks Serverless SQLのみを使用してクエリを実行できました。Databricks Serverless SQLは、AWS、Azure、Google Cloud Platform（GCP）の3大クラウドプロバイダーすべてに対応しているため、クラウド間でビューを共有することができました。

今回のクロスプラットフォームのビュー共有により、データコンシューマーは任意のタイプのDatabricksクラスターを活用したり、オープンなDelta Sharingクライアントを利用して、共有ビューにアクセスしてクエリを実行したりできるようになります。オープンなDelta Sharingクライアントとは、Delta Sharingプロトコルをサポートするツールやプラットフォームのことで、ユーザーはDatabricksを使用することなく共有ビューにアクセスできます。これらのクライアントには、Apache Spark™、Pandas、Power BI、Tableauなどの一般的なシステムが含まれます。これにより、Databricksを利用していない他プラットフォームのユーザーでも、Delta Sharingを介して共有ビューにアクセスし、クエリを実行できるようになります。

クロスプラットフォームのビュー共有の実際の動作を、こちらのデモでご覧ください。

ユースケース

Databricks to Databricks（D2D）共有

このシナリオでは、2つのDatabricksカスタマーがDatabricksエコシステム内でシームレスにビューを共有できます。これがなぜ重要なのでしょうか？組織は、異なるクラウドや異なるリージョンにいるパートナーとコラボレーションを行っており、クラウドやリージョンを越えてクライアントやパートナーとビューを共有したいと考えています。Delta Sharingテクノロジーを活用することで、データの複製を作成することなく、シームレスかつ安全にビューを共有できます。

Databricks to Open（D2O）共有

このシナリオでは、Databricksカスタマーは、Databricksを使用していない外部の受信者とビューを共有できます。クロスプラットフォームのビュー共有は、オープンコネクター（Apache Spark™、Pandas、Power BI、Tableauなど）をサポートしているため、受信者はDelta Sharingプロトコルを介して共有ビューにアクセスできます。この機能は、複雑なデータプラットフォームを直接操作することなく、データへのシンプルなアクセスを必要とするビジネスアナリストや業務部門のユーザーにとって特に有益です。

Databricks Marketplaceのデータプロバイダーは、クロスプラットフォームのビュー共有によって市場のリーチと収益化の機会を大幅に拡大できるというメリットがあります。この機能により、Databricksを使用していないクライアントを含む、より幅広いオーディエンスとビューを共有できるため、潜在的な顧客ベースを拡大できます。データコンシューマーはDatabricksプラットフォームからのビューのクエリに限定されないため、Databricksへのロックインを回避できます。

クロスプラットフォームのビュー共有は、当社のお客様にとってゲームチェンジャーです。複雑な大企業にゼロコピーのデータ共有を大規模に導入するには、柔軟性が必要です。プラットフォーム間でビューを共有できる機能により、より多くのお客様にDelta Sharingのセキュリティとパフォーマンスのメリットを提供できるようになり、顧客データからより迅速に価値を引き出すことができます。—Amperity社 共同創業者兼CTO、Derek Slager氏

今後の展望

今後数ヶ月の間に、Databricksはいくつかの高度なデータ共有機能を導入する予定です。今後の機能には、データプロバイダーがレプリケーションを行うことなく、さまざまなプラットフォーム（Amazon Redshift、Azure Synapse、Google BigQuery、Snowflakeなど）から直接データを共有できるSharing for Lakehouse Federationが含まれます。

Additionally, D2O OAuth Support will enhance security by enabling recipients to authenticate using OAuth tokens from their trusted Identity Providers (IdPs). さらに、マテリアライズドビューとDelta Live Tablesの共有により、事前に計算されたクエリ結果やストリーミングデータを効率的に配信できるようになり、より優れたパフォーマンスと低コストで最新のデータを提供できます。

はじめに

クロスプラットフォームのビュー共有は、本日よりAWS、GCP、Azureのお客様向けにパブリックプレビューとして提供されています。Unity Catalogが有効なDatabricksワークスペースから、任意のコンピューティングプラットフォーム上のあらゆるユーザーと、どこからでもデータを共有するために、Delta Sharingのオープン共有プロトコルを使用する方法については、こちらをご覧ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事