Data + AI Summit 2024：データ共有とコラボレーションの最新情報

Translation Review by saki.kitaoka

Databricksでは、データとAIの民主化をミッションとしています。オープンなアプローチによる共有とコラボレーションは、そのリーチとインパクトを最大化するために重要です。当社のデータインテリジェンスプラットフォーム内では Delta Sharingオープンプロトコルが顧客のデータとAI資産の共有を簡単かつ安全にし、イノベーションを加速させます。サードパーティデータとのコラボレーションには、Databricks Marketplace がすべてのデータ、分析、AIのニーズに対応するオープンマーケットプレイスを提供します。データパートナーのエコシステムが拡大する中で、さまざまなデータとAI資産を共有し、データ消費者がイノベーションを実現できるようにします。Databricks Clean Roomsは、ビジネスがどのクラウド上でも安全な環境で簡単にコラボレーションできるプライバシー保護されたコラボレーションを提供します。先週、Delta Sharingのオープンエコシステムを拡大するために12の新しい業界リーディングパートナーを発表しました。今日は、エコシステムの成長を加速させる方法と、Delta Sharing機能の新しいリリースに関する最新情報を発表します。また、AWSとAzureでのパブリックプレビュー（近日公開予定）として、Databricks Clean Roomsのプライバシー保護されたコラボレーションが利用可能になったことをお知らせします。

Delta Sharingでデータ共有の成長を加速

Databricksの顧客は、ベンダーロックインのない柔軟で安全なオープンエコシステムで、顧客やパートナーとのクロスプラットフォームおよびクロスクラウドのコラボレーションを推進しています。Databricksのイノベーションとコラボレーションへの取り組みは、過去1年間で顕著な成果を上げ、エコシステムは大きく成長しました。

エコシステム全体で大規模な成長を目の当たりにしており、16,000以上の組織がDelta Sharingを採用してパートナーや顧客とコラボレーションしています。今日は、オープンエコシステム全体でアクティブなDelta Sharesが前年比300％以上の成長を記録したことを発表できることを嬉しく思います。Delta Sharesの40％が、Apache Spark 、 Pandas 、 Power BI、最近発表されたTableauなどのクロスプラットフォームオープンコネクタを使用して共有データにアクセスしています。

Delta Sharingの最新パートナーグループは、データ共有ソリューションを構築し、新しい機能のために既存のパートナーシップを拡大し、共同顧客がプラットフォーム間でシームレスに共有できるように技術パートナーシップを進めています。これらの新しいパートナーには、Acxiom、Amperity、Atlassian、Aveva、HealthVerity、Shutterstock、Stocktwits、T-Mobile、TetraScience、The Trade Deskが含まれます。Databricksはまた、Epsilon、LiveRamp、S&P Global、Tableauとのパートナーシップの拡大も発表しています。

「Atlassian Analyticsは最近、Delta Sharingを活用してData Sharesを立ち上げ、柔軟性を高め、顧客のインサイト取得時間を短縮しました。... Delta Sharingのオープンエコシステムには、Tableau、PowerBI、Sparkなどのコネクタが含まれており、顧客はAtlassian Data Lakeから直接データを利用して環境を強化できます。」— Ben Jackson, Senior Group Product Manager, Data & Analytics, Atlassian

新しいDelta SharingイノベーションがデータとAIの成功を支援

3年前、私たちは業界初の安全なデータ共有のためのオープンプロトコル、Delta Sharing プロジェクトを発表しました。それ以来、Delta Sharingは革新を続け、プラットフォーム、クラウド、地域を超えてライブデータとAIを簡単に共有できるようにしてきました。データの複製は必要ありません。

私たちの基本原則は、Delta Sharingを最もオープンで安全かつ柔軟なツールにすることです。誰でもあらゆるデータ資産を任意の受信者に、あらゆるプラットフォームで共有できるようにすることを目指しています。この目的のために、データ提供者とデータ受信者のための新しいオープン共有機能を開発し、いくつかの新しいDelta Sharing製品の革新を発表できることを嬉しく思います。

最近パブリックプレビューとしてリリースされた「Volume Sharing」と「Cloudflare R2 サポート」の2つの機能が一般公開されました。「Volumes」は、Unity Catalogの新しいオブジェクトタイプで、ディレクトリやファイルのコレクションです。Volume Sharingにより、非構造化データ（画像、音声、動画、PDFファイルなど）を大量に共有することができ、高価な複製は不要です。この新機能は、データサイエンス、AI、機械学習のワークロードに対する非構造化データの処理を加速します。Cloudflare R2サポートにより、Cloudflareのゼロエグレス、分散オブジェクトストレージを使用する顧客は、高価な複製なしにゼロエグレス料金を利用でき、ベンダーロックインもありません。この戦略的パートナーシップは、例えばAllium社がDelta SharingとCloudflare R2の両方を使用することで年間最大645,000ドルの節約を実現しています。

新しい「Cross-Platform View Sharing」機能は、データ提供者が任意の受信者にビューを簡単に共有できるようにします。ビューはデータの動的共有を可能にする人気のメカニズムですが、同じプラットフォームとクラウドリージョン内での共有に限定されることが多く、すべてのユーザーに到達するのは困難でした。この機能により、Databricksの顧客は、使用するクラウド、リージョン、プラットフォームに関係なく、任意の受信者に安全にビューを共有できるようになります。Cross-Platform View Sharingは近日中にプライベートプレビューで利用可能になり、現在アクセスリクエストを受け付けています。さらに、「Materialized Views」と「Streaming Tables」の共有機能もプライベートプレビューでリリースされます。Delta Live Tablesを使用して信頼性の高いデータパイプラインを簡単に構築している顧客は、追加のコピーやパイプラインを作成および維持することなく、その出力を受信者と簡単に共有できます。プレビューへのアクセスリクエストを受け付けています。

顧客は、データがどこにあってもアクセスできる共有エコシステムを必要としています。そのため、データをコピーせずに直接保存場所から共有できる「Sharing for Lakehouse Federation」を発表できることを非常に嬉しく思います。この機能により、データ提供者はデータウェアハウスやデータベース（例：Snowflake、BigQuery、Redshift、MySQL、PostgreSQLなど）に保存されているデータへのアクセス権を簡単に付与でき、Databricksの顧客は追加のオーバーヘッドなしに最も広範なデータセットにアクセスできます。この機能も近日中にプライベートプレビューで利用可能になり、現在アクセスリクエストを受け付けています。

これらの素晴らしい新機能は、過去6か月に発表された数々の革新的な機能に追加されるものです。現在パブリックプレビュー中の「AI Model Sharing」では、パートナーや顧客とモデルを共有し、MosaicAIを使用してDatabricks環境でモデルを展開することができます。「AI Model Sharing」により、クラウドやリージョンを越えてモデルを簡単に共有できるだけでなく、受信者はサードパーティのモデルを使用する際にデータのプライバシーを保護することができます。

AWS + AzureでのClean Roomsのパブリックプレビューを発表

Databricks Clean Roomsは、機密データへの直接アクセスなしで、すべてのデータとAI資産のためのプライバシーセーフなコラボレーション環境を提供します。本日、AWSとAzureでのDatabricks Clean Roomsのパブリックプレビュー（近日公開）を発表します。早期アクセスを希望される方は、こちらからサインアップできます。

企業は、データを安全に交換し、外部パートナーと協力してデータ駆動型のイノベーションを促進する方法を模索しています。過去には、企業は限られたデータ共有ソリューションを使用しており、パートナーとの機密データの共有方法に対する管理が限られ、データの消費方法に関する視認性もほとんどありませんでした。これにより、データの誤用やデータプライバシー侵害のリスクが生じていました。他のクリーンルームソリューションを試した顧客からは、これらのソリューションが制限されており、データを同じプラットフォームにコピーする必要がある、基本的なSQLクエリを超えた高度な分析ができない、データに対する視認性や管理が限られているなどの問題が報告されています。

企業は、データ上でオープンで柔軟かつプライバシーセーフなコラボレーション方法を必要としており、Databricks Clean Roomsはこれらの重要なニーズに応えます。

• どのクラウド、どのプラットフォームでも：Delta Sharingによって強化された安全でオープンかつ柔軟なコラボレーションが可能で、新しいSharing for Lakehouse Federation（詳細は上記参照）を使用してクラウド、リージョン、プラットフォームを超えてコラボレーションができます。
• 任意の言語とワークロードで：市場の他のデータクリーンルームとは異なり、Databricks Clean Roomsは任意の言語やワークロードをサポートしており、PythonによるMLおよびAIのネイティブサポートも含まれます。Clean Roomsは柔軟で相互運用可能なソリューションであり、クラウドやプラットフォームに関係なく、データの複製を必要とせずに誰とでもコラボレーションできます。
• 任意のスケールで：Clean Roomsは大規模なコラボレーションと運用機能もサポートしています。API、SQLコマンド、および組み込みのDatabricks Workflowsオーケストレーションのサポートにより、Clean Roomのワークロードを簡単に自動化できます。コラボレーターは、承認された出力データをUnity Catalogで直接受け取り、後続のユースケースに便利に使用できます。近日中に、複数のコラボレーターがDatabricks Clean Roomで共同作業できるようになります。

Databricks Marketplace エコシステムの成長とイノベーション

多くのマーケットプレイスは特定のクラウドやデータウェアハウスに制限されたクローズドエコシステムであり、データや単純なアプリケーションにのみ焦点を当てています。2023年6月、私たちはDatabricks Marketplaceを立ち上げ、データ、分析、AIのニーズに対応するオープンプラットフォームを提供しました。Delta Sharingを基盤とするMarketplaceは、多様なデータセット、AIモデル、ノートブック、ソリューションを提供します。

過去1年間で、Databricks MarketplaceはAI Model Sharing on Marketplace、Volume Sharing on Marketplace（最近のブログ「Shutterstock Uses Volume Sharing for Seamless Collaboration」参照）、Databricks to Open Sharing、Private Exchanges、およびSolution acceleratorsなど、いくつかの革新を導入し、データ消費者がデータ製品をより早く発見し評価し、分析およびAIの取り組みを加速できるようにしました。以下のチャートは、これらの製品機能リリースと顧客にとっての利点の概要を示しています。

Databricks Marketplaceは驚異的な成長を遂げており、データセット、AIモデル、ソリューションアクセラレーターのリストが2,000件以上あり、リストの年率320％増、新しいデータ提供者の年率300％増となっています。

「Shutterstockは、ほぼ10億のクリエイティブコンテンツ資産を持つ膨大なコレクションを、オープンなデータとAIのコラボレーションを促進することで知られるDatabricks Marketplaceに提供しています。この統合により、倫理的に調達された視覚コンテンツの広範なライブラリへの無比のアクセスが可能となり、さまざまな業界で責任あるAIおよびMLの取り組みを推進します。私たちは、データ提供方法としてDelta Sharingを追加することに興奮しています。Databricks上で当社の豊富なデータセットを利用する顧客は、新しい機会を掘り起こし、製品の革新を促進し、競争上の優位性を確保できます。」— Shutterstockチーフエンタープライズオフィサー、Aimee Egan

Databricksでデータ共有とコラボレーションを始める

Databricksはオープンなデータ共有とコラボレーションを可能にし、Delta Sharing、Databricks Marketplace、Databricks Clean Roomsを使用してデータとAIの取り組みを革新し、実現する方法を見るのを楽しみにしています。

6月10日から13日までのData and AI Summitで、データ共有とコラボレーションの最新情報を常にチェックするか、キーノートや選択セッションのライブストリームを視聴してください。

パブリックプレビューがリリースされる前に、Databricks Clean Roomsへの interest formに登録し、Delta Sharing Cross-Platform View SharingプライベートプレビューおよびDelta Sharing Materialized Views and Streaming Table Sharingプライベートプレビューに登録することもできます。