Databricksで実現するマルチモーダルAIの構築とスケール戦略

エンタープライズAIにとってマルチモーダルが重要な理由

現実世界はマルチモーダルであり、AIもそうであるべきです。企業は、テキスト、画像、音声などを個別に処理するだけのシステムに頼ることはもはやできません。このブログ記事では、DatabricksプラットフォームでマルチモーダルAIを効果的に実装し、活用するプロセスを解説します。

このようなシステムの構築には、強力なモデルだけでなく、多様なデータ型を処理し、シームレスに拡張し、初日からガバナンスを組み込める統合プラットフォームが求められます。Databricksは、データ、AI、オーケストレーションを統合して、現実世界のマルチモーダルアプリケーションを実現する点で優れています。

Databricksを活用することで、企業はDatabricks Model Serving、Vector Search、Unity Catalogなどの統合機能により、マルチモーダルの実験から本番稼働への移行を迅速化できます。

マルチモーダルAIのユースケース

さまざまな業界におけるマルチモーダルAIの応用は広範囲にわたり、変革をもたらします。ここでは、さまざまなデータモダリティを組み合わせることで大きな価値が生まれるユースケースをいくつか紹介します。

• カスタマーサービスとサポート: マルチモーダルなカスタマーサービス AI システムは、顧客のテキストによる問い合わせを理解するだけでなく、声のトーン（音声）を分析し、問題に関するスクリーンショットや動画（画像）を解釈することもできます。
• ヘルスケアと診断: マルチモーダル AI は、患者の記録 (テキスト)、医療画像 (X 線、MRI)、センサーデータ (心拍数、血糖値) を統合して、より正確な診断を提供し、病気の進行を予測し、治療計画を個別化することができます。
• 小売・Eコマース：マルチモーダルAIは、顧客レビュー（テキスト）、商品画像、さらには商品の使用動画までも処理できます。これにより、企業は顧客の嗜好をより深く理解し、商品レコメンデーションを最適化し、不正行為を検出できるようになります。

これらの例が示すように、マルチモーダル AI はさまざまな業界を変革できますが、その成功には強力なモデル以上のものが必要です。スケーラブルなデータ処理、推論、ガバナンス、ストレージが必要です。Databricksは、生データを実用的なインテリジェンスに変換するために必要なスケーラブルなインフラストラクチャと高度な機能を提供し、イノベーションと競争上の優位性を促進します。このブログ投稿では、Databricks プラットフォーム上でマルチモーダル AI を効果的に実装し、活用するプロセスについて説明します。

マルチモーダルAI複合システムの機能を紹介するため、架空の自動車保険会社であるAutomatedAutoInsurance Corp.向けのマルチモーダルAIパイプラインを構築します。過去の保険金請求に対してバッチ推論を使用し、損害を分類して Vector Search のための埋め込みを作成します。これらはリアルタイム推論アプリケーションで使用され、バッチ パイプラインによって分類された類似のケースと照合することで、お客様から提出された画像から見積もりを推定し、保険の適用範囲を推定できるようになります。

マルチモーダルAIの活用事例：自動車保険の即時見積もり

長年、自動車保険事業を営んでいる自動車保険会社を想像してみてください。過去の保険金請求のデータベースには、損傷した自動車の写真と、その請求に関連する総費用が記録されています。お客様が自動車事故に遭われたとき、すでにストレスの多い一日を過ごされています。私たちは、できるだけスムーズな保険金請求体験の創出をお手伝いしたいと考えています。私たちは、顧客が事故現場で提出した写真だけで、請求費用をリアルタイムで見積もるための複合AIシステムを構築したいと考えています。これを実現するには、バッチ推論を使用して過去の請求データを十分に理解するとともに、クライアントが必要な情報を迅速に取得できるようにするリアルタイムのマルチモーダルパイプラインを構築する必要があります。

マルチモーダルバッチ推論

モデルサービングのバッチ推論を使用することで、過去の請求データセットとそれに関連する画像データを確認し、車両の損傷の種類を分類できます。これにより、実際の請求データと合わせて車両の損傷を一貫して分類でき、後でVector Searchインデックスで使用するための適切な埋め込みを構築できます。

Databricks の ai_query を使用すると、目的の JSON スキーマを指定することで構造化された出力を抽出できます。これは非常に強力です。目的のスキーマが強制されるため、LLM の出力用にカスタムの解析コードを記述する必要がありません。この例では、モデルに車の写真からあらかじめ定義されたいくつかの損傷タイプを識別させたいと考えています。検出したい損傷の種類を JSON スキーマで指定します:

Pythonでクラスを定義する簡単でよく知られたオブジェクト指向の方法はPydanticを使用することです。Pydanticで出力スキーマを定義したい場合は、このブログのコードリポジトリを確認してください。そこには、Pydanticクラスをai_query用のJSON形式に変換するヘルパー関数が含まれています。

すべてのモデルと同様に、当社のマルチモーダルモデルにも、いくつかのベストプラクティスやデータに関する前提条件があります。このバッチユースケースではClaude 3.7 Sonnetを使用します。このモデルは、画像の最大サイズが1568ピクセルである場合に最高のパフォーマンスを発揮します。画像を適切にリサイズする必要があります。

これで、これらすべてを組み合わせてai_query()呼び出しをフォーマットできます。

これにより、このようにフォーマットされたai_query()が得られます。

画像の読み込みからリサイズ、そしてバッチ推論関数の適用に至るまで、エンドツーエンドのバッチ推論プロセス全体は、UC Volumeから画像を読み込むこの部分にカプセル化されています。

損傷分類の結果:

次に、顧客が新しい写真を提出した際に、過去のデータから類似の損害賠償請求を検索する方法を考案する必要があります。1つの方法として、新しい顧客の請求と同じ損傷を持つ他の請求を、単純なデータベース検索で探すことが考えられます。このアイデアの1つの問題は、過去のデータがない、新しい損傷の組み合わせのインスタンスが見つかった場合にどう対処するかを考えることです。これまでにない新しい損傷の組み合わせに対して適切な見積もりを行うために、どのようにして適切な過去の請求を取得すればよいのでしょうか？

このブログで利用する検索ソリューションは、埋め込みを活用するものです。ほとんどの埋め込み検索ベースのシステムでは、コサイン類似度メトリックを利用して、検索に最も近い他のデータを見つけます。これは多くのユースケースでうまく機能しますが、今回のユースケースでは、同じ名前の複数の部品が損傷している可能性があります。たとえば、2 つのドアパネルが損傷した請求を想像してみてください。もし「ドアパネル」の埋め込みを 2 回取得して単純に平均化した場合、単一のドアパネルと同じ埋め込みになってしまいます。その結果、検索システムは 2 つのドアパネルを含む新しい顧客の請求を、単一のドアパネルの請求データを使って見積もることになり、非常に不正確な結果となります。代わりに、損傷した各コンポーネントの埋め込みを合計し、ユークリッド距離メトリックを活用して類似の請求を検索できます。これにより、同じ種類の複数の損傷コンポーネントを含む請求が適切に表現され、かつその損傷コンポーネントが 1 つだけの場合とも論理的に近い状態が維持されます。

Databricks のベクトル検索は、デフォルトでユークリッド (または「L2」) 距離を実装しているため、目的の結果を得るには埋め込みの計算ロジックを修正するだけで済みます。

次に、Vector Searchインデックスを作成します。

それでは、過去のデータには見られなかった損傷請求の組み合わせを使って、簡単なテストを行ってみましょう。

これにより、最も類似性の高い過去の損害賠償請求の上位5件が出力されます:

完全一致は見つかりませんでしたが、興味深いことに、いくつか非常に近い過去の請求が見つかりました。返された各請求には、新しい請求の部品が少なくとも 1 つ含まれており、いずれも複数コンポーネントの損傷請求です。

マルチモーダルなリアルタイム推論

作成した Vector Search Index を、画像の処理、エンベディングの計算、Pydantic Model を介した出力スキーマの確立を行うヘルパー関数と組み合わせ、次のことができるエージェントの pyfunc 定義にまとめることができます:

1. 車両の損傷画像を入力として取り込む
2. 画像を処理する
3. 処理済み画像の埋め込みを計算する
4. それを使用して Vector Search Index で類似性検索を行う
5. 類似の請求を使用して平均請求コストを算出する
6. ユーザーに見積もりと査定結果を返す

こちらがエージェント用の pyfunc 定義の predict() 部分です（一部の関数は上記で参照されているため、簡潔にするためにコードの一部を省略していますが、完全な例は こちらのGitHub でご覧いただけます）：

基本的にはバッチの例と同じプロセスを実行しますが、最終ステップとして、画像からテキストへの生成によって得られる損傷分析を利用して過去の事故の類似性検索を行い、見積もり計算のためのコストデータを取得します。

pyfunc エージェントをテストする際、上記で説明した各ステップを実行できます。MLflow 3.0 を使用すると、ビジュアル トレースでプロセス全体をエンドツーエンドで確認できます。

モデルをロギング、登録し、Mosaic AI モデルサービングにデプロイすると、見積もりアプリケーションで利用可能になります。ユーザーは車の損傷写真をアップロードして、車両の損害費用の見積もりを取得できます。

無料トライアル

強力なマルチモーダル複合 AI システムの構築は、複雑である必要はありません。Databricks には PySpark、ai_query()、Mosaic AI Vector Search、Databricks Model Serving といった強力な機能があり、これらが連携してエンドツーエンドの AI システムのワークフローを簡素化します。

バッチ推論のGenAI作業には、Pysparkとai_query()を使用して、マルチモーダル推論を自動的にスケーリングしてください。Databricks Mosaic AI Vector Searchを使用すると、埋め込みの強力なインデックス作成とクエリ実行が可能になり、本番環境レベルの検索システムを迅速に構築できます。Databricks Databricks Model Servingを使用すると、すべてのアプリケーションロジックをまとめることができる、本番環境レベルのエンドポイントをデプロイできます。ClaudeやLlama4のような組み込みのマルチモーダル基盤モデルを使用すると、マルチモーダルシステムのプロトタイピングと立ち上げをすぐに始めることができます。

いつものように、使用するモデルが何であれ、ベストプラクティスに従うようにしてください。このブログの例のように画像分析を行う場合は、以下の表を参照して、さまざまな人気のマルチモーダルモデルで使用するのに最適な最大画像サイズを確認してください。

Databricks の高度な生成 AI 機能を活用することで、今日からマルチモーダル AI の構築を始めることができます。

以下のリソースをご利用ください:

• ドキュメント
• GitHub リポジトリ