データ共有とコラボレーションの最新情報

Databricksのミッションは、データとAIを民主化することです。共有とコラボレーションに対するオープンなアプローチは、リーチとインパクトを最大化するために不可欠です。当社のデータインテリジェンスプラットフォームにおいて、オープンプロトコルであるDelta Sharingは、お客様がデータやAI資産を簡単かつ安全に共有し、イノベーションを加速できるよう支援します。サードパーティデータとのコラボレーションにおいて、Databricks Marketplaceは、データ、アナリティクス、AIに関するあらゆるニーズに対応するオープンなマーケットプレイスです。幅広いデータやAI資産を共有するデータパートナーのエコシステムが拡大する中、Databricks Marketplaceはデータ利用者がイノベーションを創出できるようにします。Databricks Clean Roomsは、プライバシーが保護されたコラボレーション環境を提供し、企業があらゆるクラウド上の安全な環境で簡単に連携できるようにします。先週、当社はDelta Sharingのオープンエコシステムを拡大するため、業界をリードする12社の新規パートナーを発表しました。本日、エコシステムの成長をどのように加速させているか、またDelta Sharingの機能リリースに関する最新情報を発表できることを嬉しく思います。さらに、AWSとAzureにおいて、Databricks Clean Roomsによるプライバシーが保護されたコラボレーションがパブリックプレビュー（間もなく提供開始）として利用可能になることを発表いたします。

Delta Sharingによるデータ共有の成長加速

Databricksのお客様は、ベンダーロックインのない、柔軟で安全かつオープンなエコシステム上で、顧客やパートナーとのクロスプラットフォーム、クロスクラウドのコラボレーションを推進しています。イノベーションとコラボレーションに対するDatabricksの取り組みは、この1年で大きな成果を上げており、エコシステムは目覚ましい成長を遂げています。

エコシステム全体で大幅な成長が見られ、パートナーや顧客とのコラボレーションのためにDelta Sharingを導入した、幅広い組織の16,000以上のデータ受信者が存在します。本日、オープンエコシステム全体におけるアクティブなDelta Sharesが前年比（YoY）で300%以上成長したことを発表いたします。また、Delta Sharesの40%が、共有データへのアクセスと読み取りのために、Apache Spark、Pandas、Power BI、そして最近発表されたTableauをサポートするクロスプラットフォームのオープンコネクタを使用しています。

Delta Sharingの最新のパートナーグループは、データ共有ソリューションを構築し、新しい機能のための既存の「Built on」パートナーシップを拡大し、共同のお客様がプラットフォーム間でシームレスに共有できるようにするテクノロジーパートナーシップを推進しています。これらの新しいパートナーシップには、Acxiom、Amperity、Atlassian、Aveva、HealthVerity、Shutterstock、Stocktwits、T-Mobile、TetraScience、The Trade Deskが含まれます。Databricksは、Epsilon、LiveRamp、S&P Global、Tableauとのパートナーシップ拡大も発表しています。

"Atlassian Analyticsは最近、柔軟性を高め、お客様のインサイト獲得までの時間を短縮するために、DatabricksのDelta Sharingを活用したData Sharesを立ち上げました。… Delta Sharingのオープンなコネクタエコシステムにより、Tableau、PowerBI、Sparkなどを使用するお客様は、Atlassian Data Lakeから直接取得したデータを使用して、自社環境を簡単に強化できます。" —Ben Jackson氏（Atlassian、データ＆アナリティクス担当シニアグループプロダクトマネージャー）

データとAIの成功を可能にするDelta Sharingの新たなイノベーション

3年前、当社は安全なデータ共有のための業界初のオープンプロトコルである、オープンソースのDelta Sharingプロジェクトを発表しました。それ以来、Delta Sharingはイノベーションを続け、お客様が複製を必要とせずに、プラットフォーム、クラウド、リージョンを越えてライブデータやAIを簡単かつ安全に共有できるようにしてきました。

このオープンなアプローチに基づき、当社の指針は、Delta Sharingを最もオープンで安全、かつ柔軟なツールにすることです。これにより、誰もが、あらゆるプラットフォーム上のあらゆる受信者に対して、SQLからAIに至るまでのあらゆるユースケースで、あらゆるデータ資産を共有できるようになります。この目的を達成するため、当社はデータ提供者とデータ受信者の双方に向けて新しいオープン共有機能の開発を続けており、今回、Delta Sharingのいくつかの新しい製品イノベーションを発表できることを嬉しく思います。

最近パブリックプレビューとしてリリースされた2つのDelta Sharing機能、Volume SharingとCloudflare R2のサポートが一般提供（GA）開始されたことをお知らせします。「ボリューム」は、ディレクトリとファイルのコレクションを対象とした、Unity Catalogにおける新しいオブジェクトタイプです。Volume Sharingを使用すると、高コストな複製を行うことなく、大量の非構造化データや非表形式データ（画像、音声、動画、PDFファイルなど）をワークスペース間で柔軟に共有できます。この新機能は、データサイエンス、AI、機械学習のワークロードにおける非構造化データや非表形式データの処理に関するイノベーションを加速させるのに役立ちます。Cloudflare R2のサポートにより、Cloudflareのデータ転送手数料（Egress料金）無料の分散型オブジェクトストレージサービスを利用している共同のお客様は、リージョン間での高コストな複製を行うことなく、ベンダーロックインなしでデータ転送手数料無料のメリットを享受できます。Cloudflareとのこの戦略的パートナーシップにより、すでにAlliumなどのお客様がDelta SharingとCloudflare R2の両方を使用して、年間最大64万5,000ドルを削減しています。

Cross-Platform View Sharingは、データ提供者が任意の受信者にビューを簡単に共有できるようにする、画期的な新機能です。ビューは、データの動的な共有を可能にする非常に一般的な仕組みとして長年利用されてきましたが、ビューの共有は同じプラットフォームやクラウドリージョン内に制限されることが多く、どこにいるユーザーにも届けることが困難でした。Databricksのお客様が、使用しているクラウド、リージョン、プラットフォームに関係なく、任意の受信者にビューを安全に共有できるようになることを嬉しく思います。Cross-Platform View Sharingは間もなくプライベートプレビューとして提供される予定です。提供が開始された際にプレビューへのアクセスをリクエストするには、今すぐご登録ください。当社がリリースするもう1つのDelta Sharing機能は、プライベートプレビュー版のMaterialized Views and Streaming Tables Sharingです。Delta Live Tablesを使用して信頼性が高くコスト効率に優れたデータパイプラインを簡単に構築しているお客様は、追加のコピーやパイプラインを作成・維持することなく、これらのパイプラインの出力を受信者と簡単に共有できるようになります。プレビューへのアクセスをリクエストするには、こちらからご登録ください。

お客様からは、必要なデータがどこにあっても、そのすべてにアクセスできる共有エコシステムが必要であるという声をいただいていました。今回、データをDatabricksにコピーすることなく、保存されている場所から直接共有できるようにする新機能、Sharing for Lakehouse Federationを発表できることを大変嬉しく思います。これにより、データ提供者はデータウェアハウスやデータベース（Snowflake、BigQuery、Redshift、MySQL、PostgreSQLなど）に保存されているデータへのアクセスを簡単に許可できるようになり、Databricksのお客様は提供者に追加のオーバーヘッドをかけることなく、可能な限り幅広いデータセットにアクセスできるようになります。この機能は間もなくプライベートプレビューとして提供される予定です。プレビューへのアクセスをリクエストするには、こちらからご登録ください。

これらの素晴らしい新機能はすべて、過去6か月間の最近のイノベーションに加わるものです。これには、現在パブリックプレビュー中であり、パートナーや顧客とモデルを共有し、Mosaic AIを使用してDatabricks環境にデプロイできるようにするAI Model Sharingが含まれます。AI Model Sharingは、クラウドやリージョンを越えてモデルを簡単に共有するための画期的なメリットを提供すると同時に、受信者がサードパーティのモデルを使用する際にデータのプライバシーを保護できるようにします。

AWSとAzureでのClean Roomsパブリックプレビューの発表

Databricks Clean Roomsは、機密データに直接アクセスすることなく、すべてのデータおよびAI資産に対してプライバシーが保護されたコラボレーション環境を提供します。本日、AWSとAzureにおいて、Databricks Clean Roomsがパブリックプレビュー（間もなく提供開始）として利用可能になることを発表いたします。プレビューへの早期アクセスをご希望の方は、こちらからご登録ください。

多くの組織が、データを安全に交換し、外部パートナーとコラボレーションして、データ主導のイノベーションを促進する方法を模索しています。これまでは、データ共有ソリューションが限られていたため、機密データがパートナーとどのように共有されるかについてのコントロールを放棄せざるを得ず、データがどのように消費されるかもほとんど把握できませんでした。これにより、データの不正利用やデータプライバシー侵害の潜在的なリスクが生じていました。他のクリーンルームソリューションを試したお客様からは、すべての関係者が同じプラットフォームにデータをコピーする必要があったり、基本的なSQLクエリを超える高度な分析ができなかったり、データに対する可視性やコントロールが制限されたりするため、これらのソリューションは限定的でニーズを満たしていないという声をいただいています。

組織には、オープンで柔軟、かつプライバシーが保護された方法でデータコラボレーションを行う手段が必要であり、Databricks Clean Roomsはこれらの重要なニーズを満たします。

• あらゆるクラウド、あらゆるプラットフォーム：Delta Sharingを活用した、安全でオープン、かつ柔軟なコラボレーションが可能です。Clean Roomsを使用すると、新しいSharing for Lakehouse Federation（詳細は上記を参照）を使用して、クラウド、リージョン、さらにはプラットフォームを超えてコラボレーションできます。
• お好みの言語とワークロード：市場にある他のデータクリーンルームとは異なり、Databricks Clean Roomsは、PythonによるMLおよびAIのネイティブサポートを含め、あらゆる言語やワークロードをサポートしています。Clean Roomsは柔軟で相互運用可能なソリューションであり、組織はクラウドやプラットフォームを問わず、データを複製することなく、誰とでもコラボレーションできます。
• あらゆる規模：Clean Roomsは、大規模なコラボレーションや運用機能もサポートしています。API、SQLコマンド、および組み込みのDatabricks Workflowsオーケストレーションのサポートにより、Clean Roomのワークロードを簡単に自動化できます。また、コラボレーターは承認された出力データをUnity Catalogで直接受け取ることができ、その後のユースケースに便利に活用できます。近日中に、複数のコラボレーターがDatabricks Clean Room内で共同作業できるようになる予定です。

Databricks Marketplaceのエコシステムの成長と製品イノベーション

多くのマーケットプレイスは、特定のクラウドやデータウェアハウスに制限されたクローズドなエコシステムであり、データやシンプルなアプリケーションのみに焦点を当てていることがよくあります。2023年6月、私たちはデータ、アナリティクス、AIのすべてのニーズを満たすように設計されたオープンなプラットフォームであるDatabricks Marketplaceを立ち上げました。Delta Sharingを搭載したMarketplaceは、多様なデータセット、AIモデル、ノートブック、ソリューションを提供します。

過去1年間で、Databricks Marketplaceは、データ消費者がデータ製品をより迅速に発見・評価し、アナリティクスやAIの取り組みを加速できるよう、MarketplaceでのAIモデル共有、MarketplaceでのVolume共有（最近のブログ「ShutterstockがシームレスなコラボレーションにVolume共有を活用」を参照）、Databricks to Open Sharing、プライベートエクスチェンジ、およびソリューションアクセラレータなどのいくつかのイノベーションを導入してきました。以下の図は、これらの製品機能リリースと顧客にとってのメリットの概要をまとめたものです。

Databricks Marketplaceも目覚ましい成長を遂げており、Databricks Marketplaceで利用可能なデータセット、AIモデル、ソリューションアクセラレータの出品数は2,000件を超え、出品数は前年比320%増、新規データプロバイダー数は300%増を記録しています。

「Shutterstockは、オープンなデータとAIコラボレーションの促進で知られるプラットフォームであるDatabricks Marketplaceに、10億点近くに及ぶクリエイティブコンテンツアセットの膨大なコレクションを提供します。この統合により、倫理的に調達されたビジュアルコンテンツの広範なライブラリへの比類のないアクセスが可能になり、さまざまな業界で責任あるAIおよびMLの取り組みが推進されます。データを配信する方法としてDelta Sharingを追加できることを嬉しく思います。Databricks上で当社の豊富なデータセットを活用するお客様は、新たな機会を開拓し、製品イノベーションを促進し、競争優位性を確保することができます。」 —Aimee Egan氏（Shutterstock、チーフエンタープライズオフィサー）

Databricksでのデータ共有とコラボレーションを始める

Databricksはオープンなデータ共有とコラボレーションを実現します。皆様がDelta Sharing、Databricks Marketplace、Databricks Clean Roomsを活用してイノベーションを起こし、データやAIの取り組みを達成されることを楽しみにしています。

6月10〜13日に開催されるData and AI Summitで、データ共有とコラボレーションに関するすべての最新情報をぜひチェックしてください。また、基調講演や一部のセッションのライブ配信もご覧いただけます。

パブリックプレビューがリリースされる前に、Databricks Clean Roomsの関心表明フォームからご登録ください。また、Delta Sharing Cross-Platform View Sharingのプライベートプレビュー、およびDelta Sharing Materialized Views and Streaming Table Sharingのプライベートプレビューにもお申し込みいただけます。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事