Databricks×NVIDIA Omniverseで実現！Perception AI向けスケーラブルな合成データ生成パイプラインの構築術

Published: March 19, 2025

ジョシュ・メルトン、ザカリー・ジェイコブソン、ジェイコブ・クランツラー、ニコ・デュンデフ、デビッド・ロジャース、シヴ・トリサル、Mayank Tahilramani (NVIDIA)、ジョエル・カルーソ（NVIDIA）による投稿

Summary

NVIDIA OmniverseとDatabricks Data Intelligence Platformの統合は、合成データの作成と企業向けAI機能をシンプルにデプロイし、簡単に維持できるアーキテクチャに組み合わせます。
NVIDIA Omniverse Replicatorを使用すると、Databricksユーザーは高精度で物理的に正確なシミュレーションを利用して、ビジョンモデル訓練のための合成生成データをパラメータ化することができます。

実世界で活用できるAIモデルをトレーニングするには、大量のラベル付きデータが必要です。しかし、そのデータを大規模に収集・作成するには、多くのコストと時間がかかり、困難を伴います。そこで注目されているのが、シミュレーション環境での合成データ生成です。物理的に正確でコントロールされた仮想データセットを使うことで、AIモデルを本番環境に投入する前に効率よく学習させることが可能になります。

NVIDIAのロボティクス向けシミュレーションアプリ「Isaac Sim」の主要コンポーネントである「Omniverse Replicator」と、Databricksの「Data Intelligence Platform」を組み合わせることで、製造業、物流、医療診断、ロボティクスなど、特定の業界に特化したAIモデルを開発するためのエンドツーエンドのワークフローが実現します。

合成データ生成、AIワークフローの自動化、スケーラブルなクラウド基盤を融合することで、データ収集の課題を軽減しながら、より高精度なAIモデルの開発を加速することができます。

本ブログでは、DatabricksとNVIDIAの連携がどのようにマシンビジョン分野のAI活用を加速させているのか、その技術的な背景と実際のユースケースをご紹介します。Databricksのデータインテリジェンスと、NVIDIAの卓越した高性能コンピューティングを融合することで、企業はこれまで不可能とされていたスピードで、画像認識モデルの構築・学習・デプロイが可能になります。

アーキテクチャパターン

この統合の技術的な基盤は、インターフェース、データモデル、通信プロトコルを定義するリファレンスアーキテクチャにあります。以下は、NVIDIA Omniverseで開発されたアプリケーションとDatabricksのData Intelligence Platformを連携させ、AIモデルのトレーニングをエンドツーエンドで実現する一般的なワークフローの例です。

ワークフローの各ステップは以下のとおりです：

合成データ生成のための初期データとパラメータを提供
例：対象となる物体の3Dアセットや、特定の照明条件、ランダム性やバリエーションのパラメータを含むシーン設定を定義し、期待されるバリエーションを表現。
Omniverse Replicator（Isaac Sim）を使って合成データを生成
例：特定のCADオブジェクトを様々な角度から撮影した画像を生成し、バリエーションを持たせる。
Delta LakeなどのLakehouseフォーマットでデータを処理し、Mosaic AIモデルのトレーニングに備える
例：Databricks Lakeflow Pipelinesを構成し、データセットの変換・統合を行うとともに、文脈情報としてのメタデータも付加する。
Databricks上で、特定領域に特化したユースケース向けにモデルをトレーニング／ファインチューニング
例：「You Only Look Once（YOLO）」のようなマシンビジョンモデルの複数のトレーニング実行を通じた実験管理。モデルはDatabricks Unity Catalogに保存し、MLOpsライフサイクル全体を通じたガバナンスを実現。
トレーニングしたドメイン特化型モデルを、推論用としてパイプラインやアプリケーション、ワークフローに提供
例：Databricks Unity Catalogにモデルを登録し、簡単にデプロイ可能なDatabricks Model Servingエンドポイントで提供。

このアーキテクチャでは、Delta LakeがNVIDIA OmniverseとDatabricksをつなぐ統合レイヤーとして機能します。
私たちはプロトタイプのカスタムライターを活用することで、Omniverse上で開発されたアプリケーションから合成データを直接Lakehouseに書き込むことを可能にしています。

この方法では、従来のようにPNGやNumPyファイルとしてローカルディスクに保存する代わりに、生成された合成画像や対応するメタデータをDelta Lake形式でクラウドストレージに直接保存できます。そしてこれらのファイルはUnity Catalogに登録され、Databricks上でさらに処理されることで、下流のモデル学習プロセスにすぐ利用できる状態になります。

マシンビジョンMLOpsの新しいパターン

NVIDIA OmniverseとDatabricksの統合は、合成データ生成と使いやすく産業レベルで活用可能なAIを包括した、マシンビジョン開発の新たなパラダイムを築いています。

製造業の現場では、不良検知モデルが以下の3つの大きな課題に直面することがよくあります：

新たな不良のパターンを検出すること
新製品に対応すること
多様な実環境で安定して動作すること

これらの課題に対応するため、NVIDIA Omniverseプラットフォームでは、カスタマイズ可能な合成データ生成パイプラインを構築できます。
Omniverseを使えば、開発者は従来の「画像を回転・明るくする」といった手法を超えて、まったく新しいカメラアングルや照明条件、物理的なシナリオを仮想空間上で自由に再現することができ、モデルの堅牢性と適応力を飛躍的に向上させられます。

さらに、合成画像の生成を自動化することで、合成データのバリエーション自体をDatabricksのManaged MLflow上で調整可能な「チューニングパラメータ」として扱えるようになります。これにより、学習率やバッチサイズといった従来のハイパーパラメータと並行して、合成データの設定も最適化の対象となります。

どのバリエーションがモデルの精度に影響するかを特定しながら、最も効果的な合成データとハイパーパラメータの組み合わせに学習を集中させることで、無駄な試行錯誤を減らし、効率的なモデル開発が可能になります。

新たなユースケースの可能性を解き放つ

合成データを「調整可能なパラメータ」として扱えるようになることで、実際の生産ラインを止めることなく、製造業における新たなユースケースの可能性が広がります：

■ 製造品質管理における不良検知

一般的なマシンビジョンモデルは、学習に使用された現実世界のデータに基づいて物体を識別するため、未知の不良には対応しにくいという課題があります。
しかしこのワークフローを活用すれば、メーカーは自社製品の3D CADモデルを使って、腐食・表面のムラ・微細なひび割れ・色やサイズのバラつきなど、さまざまな不良のバリエーションを含んだ合成画像を自動生成できます。
これにより、モデルをDatabricks上で細かくチューニングし、出荷前の段階で不良を検知する仕組みを効率的に構築できます。

■ ジェネレーティブプロダクトデザイン（生成的製品設計）

製品がアイデア段階から量産へ進む前に、設計チームはまずCADソフトで詳細な3Dモデルを作成します。
この3DデザインをOmniverse Replicatorと組み合わせることで、製造前段階で必要な合成データを生成し、Databricks上でジェネレーティブAIモデルのチューニングを行うことができます。
これにより、物理的な試作を始める前から設計空間の探索が可能になり、より迅速に最適な2D/3D設計案を導き出し、そのパフォーマンスを従来のシミュレーションより高速に予測できます。
さらに、DatabricksのDevOps機能やスケジューリング機能を活用することで、たとえばCADデータが更新されたタイミングで自動的にパイプラインを実行するなど、エンドツーエンドでの自動化が可能です。

■ ロボティクスおよび自動化における自己感知（プロプリオセプション）

開発者はOmniverse Replicatorをワークフローに組み込み、あらゆる環境設定・カメラアングル・照明条件を含む合成データセットを生成できます。
ロボットメーカーは、Databricksを使ってOpenUSDベースのシーンからさまざまな視点の画像データを保存・管理し、分散処理を活用して特定の製造環境におけるロボットアームの動作理解を深めるためのモデルチューニング実験を高速に並列実行できます。
これにより、AIによる認識精度が向上し、よりスマートな自動化が実現できます。

これらのアプローチにより、製造業はより多様なマシンビジョンモデルを柔軟にトレーニングできるようになり、ビジネス課題に対して先回りで対応できるようになります。これまでデータが少なすぎて学習が難しかった希少な不良パターンも、リアルで多様な合成データで補完することが可能になり、製品が市場に出る前に不良を検知する体制を整えられます。こうした取り組みは、データインテリジェンス時代に対応するための企業の備えとしても、大きな一歩となります。

ヘルスケア企業のデータギャップの解決

DatabricksとNVIDIAの共通の医療分野の顧客であるSiemens Healthineersは、自社が直面した課題をきっかけに、この統合アーキテクチャの着想を得ました。

それまでのワークフローは分断されており、あるエンジニアがオンプレミス環境でNVIDIA Omniverseを使って合成データを生成し、別の担当者がそのデータをクラウドへ移してDatabricksでMLのトレーニングやデプロイを行うという流れになっていたため、作業に遅れが生じていました。

この課題に対し、Databricks Unity Catalogを導入して、すべてのデータ・機能・モデルを一元的なガバナンスのもとで管理し、さらにOmniverseの合成データ生成機能を直接統合することで、モデルの反復サイクルを「数週間から数日へ」と大幅に短縮。
加えて、データの統合性やトレーサビリティも向上し、製品の市場投入までのスピードも加速しました。

NVIDIA GTC 2025に参加している場合は、Databricksブース＃1733で私たちに会いに来ていただくか、GTCでDatabricksとのミーティングをリクエストしてください。

NVIDIA OmniverseとDatabrick Data Intelligence Platformについての詳細は、以下の追加リソースをご覧ください：

Omniverse ReplicatorはOmniverse Kit拡張として作成され、Omniverse Codeを通じて便利に配布されます。
- レプリケータを使用するには、ここからOmniverseをダウンロードする必要があります。
- Omniverseランチャーの詳細については、このビデオをご覧ください。
もしまだDatabricks Intelligence Platformを手で使ったことがないなら、無料試用アカウントにサインアップしてください。Databricks Academyの全リスト、トレーニング、認定も見つけることができます。