Databricksストレージエコシステムを発表：データの場所を問わず、エンタープライズデータ資産をガバナンス

移動できないデータ

長年、企業のデータ戦略はシンプルでした。それは「すべてをクラウドに移行する」というものです。データレイクやデータウェアハウスをクラウドに移行すれば、ガバナンスは後からついてくる、という分かりやすいストーリーでした。しかし、やがてそうはいかなくなりました。

今日、世界で最も先進的な企業の一部は、私たちに明確に伝えています。「すべてのデータをクラウドに移行することはできないし、移行するつもりもない」と。 大手半導体メーカーは、社外への持ち出しが厳しく禁止されている機密扱いのエンジニアリングデータセットを使用してモデルをトレーニングしています。グローバルな取引企業は、クラウドからのデータ転出（egress）コストの観点から移行が不可能な、膨大な量の履歴ティックデータを抱えています。大手銀行（Tier-1 banks）は「Hybrid Forever」戦略を採用し、厳格なデータ主権を維持しながらオンプレミスストレージを近代化しています。大手製薬会社は、厳しい規制管理の対象となるペタバイト規模のオンプレミスデータ資産に対して、毎日何百万もの創薬実験を行っています。

これらは例外的なケース（エッジケース）ではありません。企業がデータについて考える際の構造的なシフト、つまり「すべてを移行する（Migrate Everything）」から「すべてを統治する（Govern Everything）」への移行を表しています。

その要因は現実的であり、さらに複雑化しています。

• データ主権と規制：金融サービス、ヘルスケア、政府機関は、GDPR、HIPAA、NIS2、セクター固有のデータレジデンシー（データ所在地）ルールなどの義務の下で運営されており、データを特定の管轄区域内またはエアギャップ環境（ネットワークから隔離された環境）に維持することが求められます。クラウドへの移行は選択肢ではなく、特定のデータセットについては法律で禁止されています。
• データの重力（データグラビティ）とコスト：ペタバイトやエクサバイトの規模になると、クラウド移行の経済合理性は完全に崩壊します。データ転出（egress）料金、ストレージコスト、そして純粋なデータ量により、「一度移行すれば終わり」というモデルは財務的に維持できなくなります。世界最大手の小売企業の一部は、まさにこの理由から、分析ワークロードをクラウドからオンプレミスインフラに積極的に回帰（レパトリエーション）させています。
• レイテンシーとエッジワークロード：小売、製造、通信（telco）のワークロードでは、オンプレミスやエッジのデータへの低レイテンシーなアクセスが必要です。電気通信事業者は、クラウドとの往復（ラウンドトリップ）による遅延が許容されないAI駆動のネットワーク運用を支えるため、毎日膨大な量のネットワークテレメトリをオンプレミスで取り込んでいます。
• ダークデータに対するAIの活用：バックアップデータ、非構造化アーカイブ、二次データセットなどの膨大なストレージ（企業全体で数百エクサバイトに及ぶ）には、ガバナンスが届いていなかったためにこれまで活用されてこなかった、AIにおける計り知れない価値が眠っています。

この兆候は間違いありません。私たちは、Unity Catalogへのオンプレミスおよびハイブリッドストレージの接続を明示的に求める何百ものお客様から要望を受け取っています。Software-Defined Storage（SDS）市場は2026年までに数千億ドル規模に達すると予想されており、この資産を管理し、合わせて2ゼタバイト以上のデータを管理下に置くエンタープライズパートナー各社が、私たちと共に構築を進めています。

Databricks Storage Ecosystemのご紹介

本日、私たちはDatabricks Software-Defined Storage（SDS）Ecosystemを発表できることを嬉しく思います。これは、オンプレミス、プライベートクラウド、エッジ環境など、企業のデータが存在するあらゆる場所にDatabricks Intelligence Platformをもたらすために特別に構築された、新しいパートナーカテゴリです。現在これらのプラットフォーム上でペタバイト規模のデータを運用している企業であれば、既存の非クラウドストレージインフラとDatabricks AIのどちらか一方を選択する必要はもうありません。

あまりにも長い間、企業は信頼を置くオンプレミスのストレージインフラと、構築したいクラウドネイティブなAIのどちらかを選択せざるを得ませんでした。そのインテリジェンスを引き出すためだけに、複雑なパイプラインを使用して大量のデータを移行することを顧客に強いるのは、破綻したモデルです。業界をリードするこれらのパートナーを統合することで、私たちはその妥協に終止符を打ち、企業のデータが存在する場所に直接Databricksのインテリジェンスを届けます。しかし、今回の発表はまだ初日にすぎません。私たちは、構造化データであれ非構造化データであれ、あらゆるハイブリッドデータが、1バイトもコピーすることなく、すぐに生成AIで利用できるようになるための基盤を構築しています。 — Stephen Orban, SVP, Product Partnerships & Ecosystem, Databricks

このエコシステムの中核にあるのが、安全で統治されたデータ共有のためのオープンソースプロトコルであるOpenSharingです。当社のストレージパートナーは、OpenSharingサーバーを実装して、データ資産をDatabricks Serverless Computeに直接公開しています。その方法はシンプルです。ストレージパートナーがOpenSharingエンドポイントを立ち上げ、それをUnity Catalogに接続するだけで、データを移行することなく、Databricks内のオンプレミスデータへの安全で統治されたアクセスを即座に獲得できます。

この統合により、ハイブリッド環境全体にわたる単一の統一されたカタログが提供されます。お客様は、Databricks Serverless Compute、Genie、AgentBricks、およびモデルトレーニングを使用して、オンプレミスから一切出ることのないデータに対してクエリを実行し、推論を行うことができます。その結果、データの移動はゼロ、データの重複もゼロ、そしてコンプライアンスリスクもゼロになります。

これはロードマップ上の単なる願望ではありません。お客様は今すぐこれらの統合をお試しいただけます。これらの統合を構築するパートナーは、アーキテクチャ、セキュリティ、および認定基準をカバーする技術的なブループリントであるPartner Well-Architected Frameworkに従っています。

お客様は、データサイロを打破し、オンプレミスに残っている大量のデータを含む、すべてのデータとAI資産を統合したいと考えています。オープンソースのOpen Sharingプロトコルを活用するオンプレミスストレージパートナーのおかげで、お客様はDatabricks Unity Catalog内ですべてのデータ資産をシームレスに統合、統治、分析できるようになり、Databricks Data Intelligence Platformにおけるデータの価値を最大限に引き出すことができます。 — Jonathan Keller, VP, Product Management, Databricks

ローンチパートナー

MinIO — 一般提供（GA）（デモ、ブログ）

MinIO AIStorは、Databricks Data Intelligence Platformと、クラウドに移動できない企業のデータをシームレスに接続する架け橋です。ストレージレイヤーでオープンなOpen Sharingプロトコルをネイティブに実装することにより、AIStorは複雑さを排除し、Databricksのお客様が完全なUnity Catalogのガバナンスの下で、稼働中のオンプレミスのApache Iceberg™️およびDeltaテーブルに対して効率的にクエリを実行できるようにします。これにより、Serverless Compute、Genie、Agent Bricksがオンプレミスデータに拡張され、Databricksプラットフォームの全機能が企業の最も重要なデータにもたらされます。

AIや分析の取り組みは、特に厳格なセキュリティ、主権、または運用上の要件がある環境において、データが存在する場所に制約されることがよくあります。AIStorにネイティブなOpenSharingをもたらすことで、組織はデータが存在する場所で安全にデータを公開できるようになり、同時にオープンスタンダードを通じてDatabricksへのシームレスなアクセスを提供できます。これにより、企業のデータとAIの間の大きな障壁が取り除かれ、組織はコントロールを損なうことなく、これまでアクセスできなかったデータをAI、分析、およびエージェント型（agentic）アプリケーション向けに活性化できるようになります。 — Ugur Tigli, Chief Technology Officer, MinIO

Everpure（旧Pure Storage）— プライベートプレビュー（デモ、ブログ）

EverpureとDatabricksにより、組織はデータの複製や重複を必要とすることなく、オンプレミスデータをクラウドで直接使用できるようになります。これは、オブジェクトストレージ内のデータとDatabricksのコアワークスペースを安全かつ制御された方法で橋渡しするOpenSharingコネクタを通じて提供されます。

EverpureとDatabricksにより、組織は複製や重複を必要とせずに、クラウドから直接オンプレミスデータにアクセスして分析できるようになります。環境間でデータを継続的に移動することはコストがかかり、大規模な運用では維持できません。お客様は、運用の複雑さを軽減しながら、コスト、コンプライアンス、データ主権のバランスを取る、よりシンプルなアプローチを求めています。 — Chadd Kenney, VP of Product Management, Everpure

Qumulo — 2026年7月にプライベートプレビュー開始（ブログ）

Qumuloは、新しいNeuralSearchにOpenSharingを統合しました。これにより、お客様は複製、追加コスト、複雑さを伴うことなく、コア、クラウド、エッジ環境全体でQumuloに保存されたデータをDatabricksと安全に共有できるようになります。NeuralSearchを使用することで、ユーザーは自然言語クエリを介して非構造化コンテンツを含む関連データセットを発見し、それらのキュレーションされたテーブルをOpenSharing経由でDatabricksとシームレスに共有できます。

AIやアナリティクスをサポートするためだけに、環境間で大規模なデータセットをコピーするコスト、複雑さ、遅延をこれ以上許容することはできません。QumuloのNeuralSearchとDatabricks OpenSharingを組み合わせることで、お客様はコアデータセンター、エッジロケーション、パブリッククラウドにわたる表形式データと非構造化データの両方を、データを移動することなくリアルタイムで安全に発見、ガバナンス、共有できます。私たちは共同で、信頼できる唯一の情報源（single source of truth）を維持しながら、組織がAIイニシアチブを加速し、ガバナンスを統一し、世界中に分散したデータからより迅速にインサイトを得られるよう支援しています。 — Brandon Whitelaw氏（Qumulo、SVP兼製品責任者）

VAST Data — 2026年8月にプライベートプレビュー開始

VAST Dataは、VAST AI Operating SystemをOpenSharingのサポートで拡張し、企業が大規模なデータの移動や移行を必要とせずに、オンプレミスやハイブリッドインフラストラクチャに存在するデータとDatabricksのワークフローを橋渡しできるようにします。この統合により、お客様は最新のハイブリッドAIやアナリティクスのワークフローをサポートしながら、クラウド、データセンター、新たなAIインフラストラクチャ環境全体でデータにアクセス、処理、運用するための柔軟性を高めることができます。

AIインフラストラクチャは根本的にハイブリッド化しつつあります。 お客様は、環境間でシームレスなアクセスを維持しながら、経済的および運用的に最も合理的な場所でデータを処理する能力をますます求めています。OpenSharingのサポートにより、最新のAIやアナリティクスアプリケーション向けに、クラウドやオンプレミスのインフラストラクチャに存在するデータとDatabricksのワークフローを橋渡しするVAST AI Operating Systemの機能が拡張されます。従来のストレージプラットフォームとは異なり、VASTはデータサービス、分散処理、AIインフラストラクチャのオーケストレーションを、大規模なAIデータ向けの統合オペレーティングシステムに統合しています。 — John Mao氏（VAST Data、グローバルテクノロジーアライアンス担当バイスプレジデント）

今後の展望

近日公開予定の統合

ローンチパートナーに加えて、ストレージエコシステム全体での勢いは加速し続けています。年末までにネイティブ統合を構築することについて、Cohesity、Commvault、HPE、NetApp、Nutanix、Rubrikからの合意を得ています。

これらのパートナーは、ローンチパートナーと合わせて、高性能な非構造化メディア、二次バックアップアーカイブ、費用対効果の高いクラウドストレージ、ハイパーコンバージドプライベートクラウド資産にわたる、数百エクサバイトものエンタープライズデータを管理しています。

非構造化データの解放

本日のローンチにより、構造化された表形式データが完全にガバナンスされ、このエコシステム全体でアクセス可能になります。しかし、私たちは非構造化データに刺激的な機会が待ち受けていることを知っています。画像、PDF、動画、医療スキャン、エンジニアリングシミュレーション、バックアップアーカイブなどは、管理下にあるエンタープライズデータの大部分を占めており、次世代のRAGパイプラインや微調整されたモデルの原材料となります。

私たちは、Volumes APIを使用してOpenSharingプロトコルを拡張し、オンプレミスストレージの非構造化ファイルをGenAIワークロード向けにDatabricksに直接公開することに積極的に取り組んでいます。これが実現すれば、メディアやイメージングのアーカイブからエンタープライズバックアップリポジトリまで、大規模な非構造化資産を管理するパートナーは、顧客向けにまったく新しいクラスのAIユースケースを解放できるようになります。

これこそが、すべてをガバナンスするということです。

エコシステムへの参加

OpenSharingの統合構築に関心のあるストレージベンダー様は、Partner Well Architected Frameworkをご覧いただくか、Databricksパートナーチームまでお問い合わせください。

オンプレミスのストレージ資産をDatabricksに接続することをご希望のエンタープライズのお客様は、詳細について担当のアカウントチームまでお問い合わせください。

「すべてを移行する」時代は終わりました。「すべてをガバナンスする」時代が今日から始まります。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事