メインコンテンツへジャンプ

Databricksプライベートエクスチェンジでデータ共有の可能性を解き放とう!

Databricksマーケットプレイスでプライベートエクスチェンジプロバイダーになるための簡単なプロセス!
ハリシュ・ガウル
ダルシャナ・シヴァクマール
萌えDerakhshani
Share this post

Databricksマーケットプレイスに、新しいエキサイティングな機能が追加され、すべてのDatabricksユーザーがプライベートエクスチェンジを簡単に設定できるようになりました。この機能により、プライベートエクスチェンジプロバイダーになることがこれまで以上に簡単になります。

このブログ投稿では、Databricksマーケットプレイスのプライベートエクスチェンジ機能について深く掘り下げて解説します。さまざまなエクスチェンジメカニズム(パブリックマーケットプレイスとプライベートエクスチェンジ)を比較し、プライベートエクスチェンジプロバイダーになるプロセスを簡素化する新機能を詳しく見ていきます。

プライベートエクスチェンジとパブリックマーケットプレイスの比較

データ共有と収益化の進化する分野において、企業はデータやAIモデルを配布するための複数の方法を持っています。それぞれの方法は異なる利点を提供し、さまざまな戦略的ニーズに対応します。以下に、パブリックマーケットプレイスとプライベートエクスチェンジの2つのシナリオを概説し、顧客が特定の要件や目標に基づいてこれらのオプションをどのように選択するかを示します。

パブリックマーケットプレイス:

例えば、私がDataVendorCoという企業で、データやAIモデルを広範なパブリックオーディエンスに共有またはライセンスすることで収益化したいとします。この場合、私はパブリックマーケットプレイスプロバイダーとなり、Databricksマーケットプレイスのようなパブリックマーケットプレイスで私のデータ製品を共有します。これにより、私のデータ製品は10,000以上のDatabricks顧客に発見され、利用されることができます。

プライベートエクスチェンジ:

プライベートエクスチェンジは、いくつかのユースケースで有用です。

まず、私が同じDataVendorCoであり、特定の顧客のニーズや要件に合わせてカスタムメイドのデータセットを提供する必要がある場合を考えます。この場合、プライベートエクスチェンジを使用して特定の顧客にカスタムデータセットを提供できます。プライベートリスティングを使用して、その特定の顧客に合わせたデータセットを提供します。

別のシナリオとして、私がRetailCoという複数の子会社を持つ多国籍コングロマリット企業である場合を考えます。私はデータを広くライセンスまたは収益化したくはありませんが、パートナー小売業者、供給業者、ディストリビューターなどの外部パートナーとのプライベートネットワーク内で安全にデータを共有したいと考えています。また、複数の子会社間でデータをマーケットプレイス型のユーザーインターフェースを通じて共有し、消費者がニーズに基づいてコンテンツをシームレスに発見できるようにしたいと考えます。このような目的のために、プライベートエクスチェンジを設立します。

検索結果が 3 つ提供されているようです。最初の結果は、クラウドベースのデータ プラットフォームである Databricks からの画像ファイルです。 画像ファイルはテキストベースではないため、検索や分析はできません。 2 番目の結果は、自然言語処理および機械学習モデルのプラットフォームである Hugging Face からの生のファイルです。 このファイルは BERT モデルの語彙リストのように見えますが、従来の意味での検索結果ではありません。 3 番目の結果は、ディレクトリ ブルートフォース攻撃やその他のセキュリティ テストの目的で一般的なサブドメインのリストを含む GitHub リポジトリです。 このファイルは、サブドメインのリストを含むテキストファイルですが、古典的な意味での検索結果ではありません。より多くのコンテキストを提供したり、検索しようとしているものを明確にしたりすることができれば、喜んでお手伝いさせていただきます。

それでは、次のセクションでプライベートエクスチェンジについて深く掘り下げてみましょう。

プライベートエクスチェンジを利用したエンタープライズデータとアナリティクスハブの構築

前のセクションでは、パブリックマーケットプレイスとプライベートエクスチェンジを比較しました。パブリックマーケットプレイスの一例として、Databricks Marketplaceがあります。これは、オープンDelta SharingプロトコルとUnity Catalogによって管理される、データ、アナリティクス、AIのニーズに対応するオープンマーケットプレイスです。Databricks Marketplaceは、データセット、AIモデル、ソリューションアクセラレーターなど、さまざまなデータ資産を共有し、コラボレーションするための広範なエコシステムを提供しています。

2023年第4四半期には、Databricks Marketplaceにプライベートエクスチェンジ機能が追加されました。Databricks Marketplace内のプライベートエクスチェンジは、データプロバイダーが特定の消費者グループのみにデータおよびAI製品を発見可能にすることを可能にします。また、Databricksの顧客が外部パートナーや子会社間で安全にデータを交換することもできます。データ製品のリクエストおよびアクセスのためのストアフロントインターフェースを通じて、プライベートエクスチェンジは製品の可視性(誰が見られるか)とアクセス(誰が使用できるか)を制御できます。

ここでは、Databricksの顧客がプライベートエクスチェンジからどのように利益を得られるかの2つの例を紹介します。

ピアツーピア共有:

あるeコマース企業がオンライン販売動向を予測するAIモデルを開発しました。この企業はプライベートエクスチェンジを作成し、このモデルを実店舗の小売チェーンと共有しました。この小売チェーンは、このAIモデルを利用して店内販売を予測し、在庫やスタッフの配置を効果的に最適化します。

業界コラボレーション:

例えば、製造業者がプライベートエクスチェンジを設定し、Tier 1およびTier 2のサプライヤーと生産データを共有することが考えられます。プライベートエクスチェンジは、マーケットプレイスタイプのUIを提供し、新しいサプライヤーが利用可能なデータを簡単に発見できるようにします。

各エクスチェンジは、共有される基礎データおよびAI製品を表す一連のリスティングと関連付けることができます。これらのリスティングには、コードサンプルや関連するビジュアライゼーションを提供するノートブックを含むリッチなメタデータが含まれています。リスティングは「即時利用可能」または「制限付き」として設定でき、所有者はどの製品に誰がアクセスできるかを完全に制御することができます。製品の配信はDelta SharingとUnity Catalogによるガバナンスを通じて行われます。

John Snow Labsのケース:

John Snow Labsは、医療およびライフサイエンス分野の組織がAI駆動プロジェクトを開発、展開、管理するための包括的なソフトウェア、モデル、およびデータリソースを提供しています。John Snow Labsは、Databricks Marketplaceで60以上のAIモデルを提供するパブリックプロバイダーです。彼らはプライベートエクスチェンジ機能を活用して、特定のデータ消費者グループにカスタムAIモデルを配布しています。John Snow Labsは、プライベートエクスチェンジの利点について次のように述べています。

「John Snow Labs では、Databricks Marketplace は、世界クラスのデータセットと AI モデルをすべての人が利用できるようにするという当社の使命と完全に一致しています。 プライベートエクスチェンジ機能は、物事をまったく新しいレベルに引き上げます。 「私たちは、 AIモデルを組織間で安全にピアツーピアで交換する方法をすでに直接目にしてきました。厳格な制御とプライバシーを維持しながら、より多くのお客様が貴重なAI機能を共有することで、それがもたらす変革的な影響を見るのが待ちきれません」
— John Snow Labs CTO、David Talby 氏。

こちらのデモビデオをご覧ください。プライベートエクスチェンジの動作と、組織内および組織間のコラボレーションでの使用方法について詳しく説明しています。

プロダクト内プライベートエクスチェンジプロバイダーのオンボーディング機能の理解

Databricks Marketplaceでパブリックエクスチェンジプロバイダーになるための道のりは、顧客に広くデータを提供し、そのデータが正確で高品質であることを保証するための細心の承認プロセスを含みます。私たちは厳格な品質管理を実施し、私たちの厳しい基準を満たすベンダーのみが参加できるようにしています。

私たちはパブリックプロバイダーに対して高い基準を維持しようと努めていますが、パブリックステータスを求めないデータプロバイダーや顧客にとってもプロセスを簡素化するよう努めています。私たちの目標は、特定のユーザーグループとデータセットやAIモデルを共有できるようにし、プライベートエクスチェンジの参入障壁を低くすることです。

新しいオンボーディング機能により、企業はマーケットプレイスのパブリックプロバイダーオンボーディングプロセスを経ることなく、プライベートエクスチェンジプロバイダーになることができるようになりました。プライベート エクスチェンジ プロバイダーの利用規約に同意し、セルフサーブ方式で製品内で直接セットアップを完了できます。この改善により、スピード、使いやすさ、アクセスのしやすさ、および参入障壁の低減など、いくつかの利点がもたらされます。

検索結果にはさまざまなトピックとソースが混在しているようです。 各結果の内訳は次のとおりです。 この結果は、Hybrid Analysis のマルウェア分析レポートのようです。 システム上のさまざまなファイルとディレクトリがリストされますが、その中には Microsoft Edge や Chrome ブラウザに関連していると思われるものも含まれています。 このレポートでは、SQLiteデータベースといくつかのgzip圧縮データについても言及しています。 この結果は、医療画像処理用の Databricks ソリューション アクセラレータに関するものです。 Databricks を使用して、CT、X 線、PET、MRI スキャンなどの医療画像を取り込み、カタログ化し、分析する方法について説明します。 この結果は、Spark で画像データを操作する方法に関する Databricks のドキュメント ページです。 画像ファイルの読み取りと書き込みの方法を説明し、ノートブックのコード スニペットの例を示します。 この結果は、deepme-crawler というプロジェクトの GitHub リポジトリです。 リポジトリには db.d.csv というファイルが含まれており、これはデータベース ダンプまたはデータセットであると思われます。 この結果は、データセット-tldr というデータセットのHugging Faceデータセット ページです。 このページには、データセットのサイズ、例の数、ライセンス情報などの情報が記載されています。 また、データセットとその使用法に関するブログ記事へのリンクもあります。これらの結果がどのように相互に関連しているのか、共通のテーマは何なのかは明らかではありません。 より多くのコンテキストを提供したり、探しているものを明確にしたりすることができれば、私はあなたをよりよく助けることができるかもしれません。

こちらのデモビデオをご覧ください。プライベートエクスチェンジプロバイダーにサインアップするプロセスを紹介しています。

プロダクト内からプライベートエクスチェンジプロバイダーとしてはじめる

アカウント管理者としてこの新機能を試してみるには、Databricks製品内のDatabricks Marketplaceセクションにアクセスし、プライベートエクスチェンジプロバイダーのためのガイド付きオンボーディングプロセスに従ってください。

詳細は以下のリンクをご参照ください: プライベートエクスチェンジプロバイダーとしてサインアップする方法

新しいプロダクト内プライベートエクスチェンジプロバイダーのオンボーディング機能は、私たちのコミットメントを示しています。

Databricks Marketplaceチームはこの新機能に興奮しています。この機能は、顧客がマーケットプレイスのパブリックプロバイダーオンボーディングプロセスを経ずにプライベートエクスチェンジプロバイダーになるプロセスを劇的に簡素化します。顧客はDatabricksチームの手動介入なしに、セルフサーブ方式でオンボーディングプロセスを完了できるようになります。

私たちは、顧客がプライベートエクスチェンジを設定し、組織内および組織間での制御された安全なデータ共有の旅を開始するのを支援することを楽しみにしています。

Databricks 無料トライアル

関連記事

DatabricksにAIモデルの共有機能が新登場!

本日、 Databricks Delta Sharingと Databricks Marketplaceの 両方でAIモデルの共有が可能になったことを発表できることを嬉しく思います。 Delta Sharingを使用すると、クラウド、プラットフォーム、地域を越えて、組織内または外部でAIモデルを安全に共有し、提供することができます。 さらに、Databricks Marketplaceは、 John Snow Labsから 医療専門家をサポートするための60の新しい業界別AIモデルをリリースしました。 AIモデルの共有はパブリックプレビューで、Delta Sharingとマーケットプレイスで利用可能です。 Databricks Data Intelligence Platformは、モデル提供、AIトレーニング、モデル監視を含むエンドツーエンドの機械学習機能により、モデルの検索と共有を行う新しい機能をサポートします。 ジェネレーティブAIで高まるシェアリング需要に対応 ここ数カ月、DatabricksはDatab

レイクハウスのデータ共有とコラボレーションの新機能のご紹介

翻訳:Saki Kitaoka. - Original Blog Link Databricksは、データ、アナリティクス、AIを横断するデータ共有とコラボレーション( data sharing and collaboration )のための初のオープンソースアプローチを提供します。お客様は、ベンダーに依存することなく、プラットフォーム、クラウド、地域を超えて、ライブデータセット、AIモデル、アプリケーション、ノートブックを共有することができます。プロバイダーは、革新的なデータ製品を提供する機会を拡大することで、イノベーションを加速し、新たな収益源を生み出すことができます。この柔軟性は、 Delta Sharing を Databricks Unity Catalog と統合して、共有データセットへのアクセスを管理、追跡、監査することで、強固なセキュリティとガバナンスとともに実現されます。Lakehouse Collaboration Platformを進化させる新機能を発表できることを嬉しく思います。Datab
プラットフォームブログ一覧へ