Databricksプライベートエクスチェンジでデータ共有の可能性を解き放とう！

Databricksマーケットプレイスに、新しいエキサイティングな機能が追加され、すべてのDatabricksユーザーがプライベートエクスチェンジを簡単に設定できるようになりました。この機能により、プライベートエクスチェンジプロバイダーになることがこれまで以上に簡単になります。

このブログ投稿では、Databricksマーケットプレイスのプライベートエクスチェンジ機能について深く掘り下げて解説します。さまざまなエクスチェンジメカニズム（パブリックマーケットプレイスとプライベートエクスチェンジ）を比較し、プライベートエクスチェンジプロバイダーになるプロセスを簡素化する新機能を詳しく見ていきます。

プライベートエクスチェンジとパブリックマーケットプレイスの比較

データ共有と収益化の進化する分野において、企業はデータやAIモデルを配布するための複数の方法を持っています。それぞれの方法は異なる利点を提供し、さまざまな戦略的ニーズに対応します。以下に、パブリックマーケットプレイスとプライベートエクスチェンジの2つのシナリオを概説し、顧客が特定の要件や目標に基づいてこれらのオプションをどのように選択するかを示します。

パブリックマーケットプレイス:

例えば、私がDataVendorCoという企業で、データやAIモデルを広範なパブリックオーディエンスに共有またはライセンスすることで収益化したいとします。この場合、私はパブリックマーケットプレイスプロバイダーとなり、Databricksマーケットプレイスのようなパブリックマーケットプレイスで私のデータ製品を共有します。これにより、私のデータ製品は10,000以上のDatabricks顧客に発見され、利用されることができます。

プライベートエクスチェンジ:

プライベートエクスチェンジは、いくつかのユースケースで有用です。

まず、私が同じDataVendorCoであり、特定の顧客のニーズや要件に合わせてカスタムメイドのデータセットを提供する必要がある場合を考えます。この場合、プライベートエクスチェンジを使用して特定の顧客にカスタムデータセットを提供できます。プライベートリスティングを使用して、その特定の顧客に合わせたデータセットを提供します。

別のシナリオとして、私がRetailCoという複数の子会社を持つ多国籍コングロマリット企業である場合を考えます。私はデータを広くライセンスまたは収益化したくはありませんが、パートナー小売業者、供給業者、ディストリビューターなどの外部パートナーとのプライベートネットワーク内で安全にデータを共有したいと考えています。また、複数の子会社間でデータをマーケットプレイス型のユーザーインターフェースを通じて共有し、消費者がニーズに基づいてコンテンツをシームレスに発見できるようにしたいと考えます。このような目的のために、プライベートエクスチェンジを設立します。

それでは、次のセクションでプライベートエクスチェンジについて深く掘り下げてみましょう。

プライベートエクスチェンジを利用したエンタープライズデータとアナリティクスハブの構築

前のセクションでは、パブリックマーケットプレイスとプライベートエクスチェンジを比較しました。パブリックマーケットプレイスの一例として、Databricks Marketplaceがあります。これは、オープンDelta SharingプロトコルとUnity Catalogによって管理される、データ、アナリティクス、AIのニーズに対応するオープンマーケットプレイスです。Databricks Marketplaceは、データセット、AIモデル、ソリューションアクセラレーターなど、さまざまなデータ資産を共有し、コラボレーションするための広範なエコシステムを提供しています。

2023年第4四半期には、Databricks Marketplaceにプライベートエクスチェンジ機能が追加されました。Databricks Marketplace内のプライベートエクスチェンジは、データプロバイダーが特定の消費者グループのみにデータおよびAI製品を発見可能にすることを可能にします。また、Databricksの顧客が外部パートナーや子会社間で安全にデータを交換することもできます。データ製品のリクエストおよびアクセスのためのストアフロントインターフェースを通じて、プライベートエクスチェンジは製品の可視性（誰が見られるか）とアクセス（誰が使用できるか）を制御できます。

ここでは、Databricksの顧客がプライベートエクスチェンジからどのように利益を得られるかの2つの例を紹介します。

ピアツーピア共有:

あるeコマース企業がオンライン販売動向を予測するAIモデルを開発しました。この企業はプライベートエクスチェンジを作成し、このモデルを実店舗の小売チェーンと共有しました。この小売チェーンは、このAIモデルを利用して店内販売を予測し、在庫やスタッフの配置を効果的に最適化します。

業界コラボレーション:

例えば、製造業者がプライベートエクスチェンジを設定し、Tier 1およびTier 2のサプライヤーと生産データを共有することが考えられます。プライベートエクスチェンジは、マーケットプレイスタイプのUIを提供し、新しいサプライヤーが利用可能なデータを簡単に発見できるようにします。

各エクスチェンジは、共有される基礎データおよびAI製品を表す一連のリスティングと関連付けることができます。これらのリスティングには、コードサンプルや関連するビジュアライゼーションを提供するノートブックを含むリッチなメタデータが含まれています。リスティングは「即時利用可能」または「制限付き」として設定でき、所有者はどの製品に誰がアクセスできるかを完全に制御することができます。製品の配信はDelta SharingとUnity Catalogによるガバナンスを通じて行われます。

John Snow Labsのケース:

John Snow Labsは、医療およびライフサイエンス分野の組織がAI駆動プロジェクトを開発、展開、管理するための包括的なソフトウェア、モデル、およびデータリソースを提供しています。John Snow Labsは、Databricks Marketplaceで60以上のAIモデルを提供するパブリックプロバイダーです。彼らはプライベートエクスチェンジ機能を活用して、特定のデータ消費者グループにカスタムAIモデルを配布しています。John Snow Labsは、プライベートエクスチェンジの利点について次のように述べています。

「John Snow Labs では、Databricks Marketplace は、世界クラスのデータセットと AI モデルをすべての人が利用できるようにするという当社の使命と完全に一致しています。 プライベートエクスチェンジ機能は、物事をまったく新しいレベルに引き上げます。 「私たちは、 AIモデルを組織間で安全にピアツーピアで交換する方法をすでに直接目にしてきました。厳格な制御とプライバシーを維持しながら、より多くのお客様が貴重なAI機能を共有することで、それがもたらす変革的な影響を見るのが待ちきれません」 — John Snow Labs CTO、David Talby 氏。

こちらのデモビデオをご覧ください。プライベートエクスチェンジの動作と、組織内および組織間のコラボレーションでの使用方法について詳しく説明しています。

プロダクト内プライベートエクスチェンジプロバイダーのオンボーディング機能の理解

Databricks Marketplaceでパブリックエクスチェンジプロバイダーになるための道のりは、顧客に広くデータを提供し、そのデータが正確で高品質であることを保証するための細心の承認プロセスを含みます。私たちは厳格な品質管理を実施し、私たちの厳しい基準を満たすベンダーのみが参加できるようにしています。

私たちはパブリックプロバイダーに対して高い基準を維持しようと努めていますが、パブリックステータスを求めないデータプロバイダーや顧客にとってもプロセスを簡素化するよう努めています。私たちの目標は、特定のユーザーグループとデータセットやAIモデルを共有できるようにし、プライベートエクスチェンジの参入障壁を低くすることです。

新しいオンボーディング機能により、企業はマーケットプレイスのパブリックプロバイダーオンボーディングプロセスを経ることなく、プライベートエクスチェンジプロバイダーになることができるようになりました。プライベート エクスチェンジ プロバイダーの利用規約に同意し、セルフサーブ方式で製品内で直接セットアップを完了できます。この改善により、スピード、使いやすさ、アクセスのしやすさ、および参入障壁の低減など、いくつかの利点がもたらされます。

こちらのデモビデオをご覧ください。プライベートエクスチェンジプロバイダーにサインアップするプロセスを紹介しています。

プロダクト内からプライベートエクスチェンジプロバイダーとしてはじめる

アカウント管理者としてこの新機能を試してみるには、Databricks製品内のDatabricks Marketplaceセクションにアクセスし、プライベートエクスチェンジプロバイダーのためのガイド付きオンボーディングプロセスに従ってください。

詳細は以下のリンクをご参照ください： プライベートエクスチェンジプロバイダーとしてサインアップする方法

新しいプロダクト内プライベートエクスチェンジプロバイダーのオンボーディング機能は、私たちのコミットメントを示しています。

Databricks Marketplaceチームはこの新機能に興奮しています。この機能は、顧客がマーケットプレイスのパブリックプロバイダーオンボーディングプロセスを経ずにプライベートエクスチェンジプロバイダーになるプロセスを劇的に簡素化します。顧客はDatabricksチームの手動介入なしに、セルフサーブ方式でオンボーディングプロセスを完了できるようになります。

私たちは、顧客がプライベートエクスチェンジを設定し、組織内および組織間での制御された安全なデータ共有の旅を開始するのを支援することを楽しみにしています。