マルチモーダルRAGで患者データをひとまとめに！

導入：多様なデータがAIを可能にする

マルチモーダル検索は、現代のAIシステムにおいて大きな課題を表しています。伝統的な検索システムは、メタデータやタグ付けが十分にない場合、異なるデータタイプを効果的に検索するのに苦労します。これは、テキスト、画像、オーディオなど、多種多様なコンテンツを大量に管理するヘルスケア企業にとって特に問題となります。これらはしばしば非構造化データソースとなります。

医療業界で働いている人なら、非構造化データと構造化データを統合する難しさを理解しているでしょう。これの一般的な例は、臨床文書化です、ここでは、患者から提出される手書きの臨床ノートや退院要約がよくPDF、画像、などの形式で提出されます。これを手動で変換するか、光学文字認識（OCR）を使用して必要な情報を見つける必要があります。このステップの後でも、データを既存の構造化データにマッピングして効果的に利用する必要があります。

このブログでは、以下の内容をレビューします：

1. Databricksにオープンソースのマルチモーダルモデルをロードする方法
2. オープンソースモデルを使用して非構造化データにエンベッディングを生成します
3. これらの埋め込みをベクトル検索インデックスに保存します（AWS | Azure | GCP）
4. Genie Spacesを使用して、構造化データをクエリします（AWS | Azure | GCP）
5. DSPyを使用して、ジニースペースとベクトル検索インデックスを使用したマルチツール呼び出しエージェントを作成します。これにより、入力に対して応答することができます。

このブログの最後までに、マルチモーダル埋め込みが以下のように医療に役立つ方法を見ることができます：

1. PDFの中身全てを使用して、テキストだけでなく、より多様なデータを取得します。
2. 任意のデータを一緒に使用する柔軟性。これは特にヘルスケア分野では価値があります。なぜなら、どのようなデータを扱う必要があるかは必ずしもわからないからです。
3. エージェントを通じたデータの統合により、より包括的な回答が可能になります

埋め込みとは何ですか？

埋め込み空間（AWS | Azure | GCP）は、1つ以上のデータモダリティを浮動小数点数のベクトルとして保存できるレコードのn次元数学的表現です。これが便利なのは、よく構築された埋め込み空間では、同じ意味を持つレコードが同じ空間を占めるからです。例えば、馬の写真、"トラック"という言葉、犬の吠える音の録音を想像してみてください。これら3つの全く異なるデータポイントをマルチモーダル埋め込みモデルに渡し、次のような結果を得ます：

• 馬の画像：[0.92, 0.59, 0.17]
• “トラック”：[0.19、0.93、0.81]
• 犬の吠える音：[0.94、0.11、0.86]

これは、エンベッディング空間において数字が存在する場所の視覚的な表現です：

実際には、埋め込み空間の次元は数百または数千になりますが、説明のために3次元空間を使用しましょう。これらのベクトルの最初の位置が「動物性」を、二番目が「交通性」を、三番目が「音量」を表していると想像することができます。これはエンベッディングを考えると理にかなっていますが、通常、各次元が何を表しているかはわかりません。重要なのは、それらがレコードの意味的な意味を表現していることです。

マルチモーダル埋め込み空間を作成する方法はいくつかあります。これには、複数のエンコーダを同時に訓練する（CLIPのような）、クロスアテンションメカニズムを使用する（DALL-Eのような）、または様々なポストトレーニングアライメント方法を使用するなどがあります。これらの方法により、レコードの意味は元のモダリティを超えて共有空間に存在することができ、他の異なるレコードやフォーマットと共有することができます。

この共有された意味空間が、強力なクロスモーダル検索機能を可能にしています。テキストクエリと画像が類似したベクトル表現を共有している場合、それらはおそらく類似した意味を共有していると考えられます。これにより、明示的なタグやメタデータなしで、テキストの説明に基づいて関連する画像を見つけることができます。

マルチモーダル埋め込みモデル：埋め込みスペースの共有

マルチモーダル検索を効果的に実装するためには、共有ベクトル空間内で異なるデータタイプの埋め込みを生成できるモデルが必要です。これらのモデルは、異なるモダリティ間の関係を理解し、それらを統一された数学的空間で表現するように特別に設計されています。

2025年6月現在、いくつかの強力なマルチモーダル埋め込みモデルが利用可能です：

• Cohere’s Multimodal Embed 4: テキストと画像データの両方を高精度かつ高性能でエンベッディングすることに優れた汎用モデル。
• Nomic-Embed: さまざまなデータタイプを統一された空間に埋め込むための強力な機能を提供します。これは数少ない完全なオープンソースモデルの一つです。
• Meta ImageBind: 画像、テキスト、オーディオ、深度、熱、IMUデータを含む6つの異なるモダリティを扱うことができる印象的なモデルです。
• CLIP（Contrastive Language-Image pretraining）：OpenAIによって開発されたCLIPは、多様な画像-テキストペアで訓練され、視覚的なデータとテキストデータの間のギャップを効果的に埋めることができます。

主要なアーキテクチャ上の考慮事項

Databricksでは、ホスト、評価、開発のためのインフラストラクチャとツールを提供し、エンドツーエンドのソリューションをあなたのユースケースに合わせてカスタマイズすることができます。このユースケースを展開する際には、以下のシナリオを考慮してください：

スケーラビリティ＆パフォーマンス

• データセットのサイズに基づいて処理オプションを選択する必要があります：小さなデータセットや開発作業のためのインメモリ処理、対して高スループットを必要とする本番ワークロードのためのモデルサービング（AWS | Azure | GCP)。
• Databricks Vector Storage Optimizedエンドポイント対Standardエンドポイント（AWS | Azure | GCP). ベクトルが多い場合は、ストレージ最適化を検討して、より多くのベクトル（約250M+）を保存します。

コストの考慮事項

• 大規模な実装では、埋め込みモデルを提供し、AIクエリ（AWS | Azure | GCP）を使用してバッチ推論を行う方が、インメモリ処理よりも効率的です。
• ベクトル検索インデックスに対してトリガー型の更新が必要か、連続的な更新が必要かを決定します（AWS | Azure | GCP）
• 再度、ストレージ最適化エンドポイントを検討してください。標準エンドポイント。
• これらのコストは サーバーレスリアルタイム推論SKUで追跡できます
• 予算ポリシーの使用を検討してください（AWS | Azure | GCP）これにより、消費量を正確に追跡することができます。

運用上の優れた性能

• パイプラインとワークフロー（AWS | Azure | GCP）とDatabricksアセットバンドル（AWS | Azure | GCP）をDatabricksで使用して、ソースデータの変更を検出し、埋め込みを適切に更新する
• ベクトル検索デルタ同期を使用して（AWS | Azure | GCP）を使用して、インデックスへの同期を完全に自動化し、パイプラインの管理は不要です
• ベクトル検索は、信頼性を確保するために、自動的に失敗、再試行、最適化を処理します。

ネットワークとセキュリティの考慮事項

• Databricks Compliance Profilesを使用して、ワークスペースでHIPAA準拠を達成します（AWS | Azure | GCP）
• Databricks Secret ManagerまたはKey Management Systemsを使用して、あなたの秘密を管理します。
• DatabricksがAI管理サービスのためにあなたのデータをどのように扱っているかについて、信頼と安全性の説明（AWS | Azure | GCP)を私たちのドキュメンテーションで確認してください。

技術的な解決策の分解

このソリューションの完全な実装については、こちらのリポジトリをご覧ください： Github Link

この例では、合成患者情報を構造化データとして、PDF形式のサンプル給付説明を非構造化データとして使用します。まず、Genie Spaceで使用するための合成データが生成されます。次に、Nomicマルチモーダル埋め込みモデル、最先端のオープンソースマルチモーダル埋め込みモデルがDatabricksモデルサービングにロードされ、オンラインで見つけたサンプル給付説明に対して埋め込みを生成します。

このプロセスは複雑に聞こえますが、Databricksは完全なエンドツーエンドのソリューションを実現するための組み込みツールを提供しています。高レベルでは、プロセスは次のようになります：

1. Autoloaderを介した取り込み（AWS | Azure | GCP）
2. Lakeflow Declarative Pipelinesを使用したETL（AWS | Azure | GCP）
3. Databricksでホストされているマルチモーダル埋め込みモデルを使用した埋め込みの作成
4. 埋め込みをベクトル検索インデックスにホストする（AWS | Azure | GCP）
5. Model Servingを使用した提供（AWS | Azure | GCP）
6. Agent Frameworkを使用して、エージェントを保護、デプロイ、管理する

Genie Spaceの作成

このジニースペースは、自然言語をSQLクエリに変換し、構造化されたデータを問い合わせるツールとして使用されます。

ステップ1：合成患者データの生成

この例では、Fakerライブラリを使用してランダムな患者情報を生成します。訪問理由、保険提供者、保険タイプなどの列を持つ2つのテーブル、患者訪問と診療所の位置を作成し、データを多様化します。

ステップ2：患者情報ジニースペースの作成

自然言語を使用してデータをクエリするために、Databricks Genie Spaces（AWS | Azure | GCP)を使用して、クエリを自然言語に変換し、関連する患者データを取得します。Databricks UIでは、左側のバーにあるGenieタブをクリック→新規→patient_visitsとpractice_locationsテーブルを選択します。

ルームの後に来る数字をキャプチャするためにジニースペースIDが必要です。以下に例を示します：

ステップ3：エージェントが使用するジニーツールを表現する関数を作成します。

私たちは DSPyを使用しているので、Python関数を定義するだけで済みます。

以上です！さあ、マルチモーダル生成ワークフローを設定しましょう。

マルチモーダルエンベッディング生成

このステップでは、完全にオープンな colNomic-embed-multimodal-7b モデルをHuggingFace上で使用して、今回の場合、PDFの非構造化データの埋め込みを生成します。Apache 2.0ライセンスとベンチマークでの高性能を持つNomicのモデルを選択しました。

埋め込みを生成する方法は、ユースケースやモダリティにより異なります。Databricks Vector Search Best Practices（AWS | Azure | GCP）を確認して、あなたのユースケースに最適なものを理解します。

ステップ1：Databricksでモデルをロード、登録、提供します。

このモデルをDatabricks内で利用可能にする必要がありますUnity Catalog (UC)、そのためにはMLflowを使用してHuggingfaceからロードし、登録します。その後、モデルをモデルサービングエンドポイントにデプロイすることができます。

Pythonモデルには、画像入力を処理するための追加のロジックが含まれており、それは完全なリポジトリで見つけることができます。

UC Volumesはファイルシステムのように設計されており、非構造化データを保存する場所です。将来、他のファイル、例えば画像を保存するために使用することができ、必要に応じてプロセスを繰り返すことができます。これには上記のモデルも含まれます。リポジトリでは、キャッシュがボリュームを参照していることがわかります。

ステップ2：PDFをリストに読み込む

サンプル_pdf_sbcというフォルダがあり、その中にはいくつかの例の利益とカバレッジのサマリーが含まれています。これらのPDFを埋め込むために準備する必要があります。

ステップ3：PDFをcolNomicモデルによって埋め込まれる画像に変換します。

colNomic-embed-multimodal-7bモデルは、PDFからの一般的な入力である一つの画像内のテキストと画像を認識するために特別に訓練されています。これにより、モデルはこれらのページを非常に効果的に取得することができます。

この方法により、テキストのチャンキング戦略を必要とせずにPDF内のすべてのコンテンツを利用し、効果的に検索が行えるようになります。モデル自体がこれらの画像を自身の埋め込み空間にうまく埋め込むことができます。

pdf2imageを使用してPDFの各ページを画像に変換し、埋め込みの準備をします。

ステップ4：埋め込みの生成

PDFの画像ができたので、埋め込みを生成することができます。同時に、ボリュームの場所へのファイルパスなど、ベクトル検索と一緒に取得する追加の列を持つデルタテーブルに埋め込みを保存することができます。

ステップ5：ベクター検索インデックスとエンドポイントを作成します

ベクトル検索インデックスの作成はUIまたはAPIで行うことができます。APIメソッドは以下に示します。

これで、エージェントを使ってすべてをまとめるだけです。

DSPyを使用してデータを統合する

これにはDSPyを使用します。これはその宣言的で純粋なPython設計のためです。これにより、私たちは迅速に反復し、開発することができ、さまざまなモデルをテストして、どのモデルが私たちのユースケースに最適かを見つけることができます。最も重要なのは、宣言的な性質が私たちのエージェントをモジュラ化することを可能にし、エージェントのロジックをツールから分離し、エージェントがどのようにタスクを達成すべきかを定義することに集中できるようにすることです。

そして最高の部分は？手動プロンプトエンジニアリングはありません！

ステップ1：dspy.Signaturesを定義する

このシグネチャは入力と出力を指定し、強制するとともに、シグネチャがどのように機能するべきかを説明します。

ステップ2：署名をdspy.moduleに追加します

モジュールは、シグネチャからの指示を取り、LLMに送信する最適なプロンプトを作成します。この特定のユースケースでは、`MultiModalPatientInsuranceAnalyzer()`というカスタムモジュールを作成します。

このカスタムモジュールは、署名をステップとして分割し、forwardメソッドで呼び出しを“チェーン”のようにつなげます。このプロセスを以下のように行います：

1. 上で定義したシグネチャを取り、クラスで初期化します
2. あなたのツールを定義します。Python関数である必要があるだけです
   1. この記事では、ベクトル検索ツールとGenie Spaceツールを作成します。これらのツールはどちらもDatabricks SDKを使用してこれらのサービスにAPI呼び出しを行います。
   2. ロジックをforwardメソッドで定義します。この場合、キーワードを抽出し、ベクターサーチインデックスをヒットし、最終的にLLMコールにすべてを渡してレスポンスを得る必要があることがわかっています。

ステップ3：すべて完了！今すぐ実行してください！

エージェントがどのツールを使用し、どのような推論を通じて質問に答えたかを確認します。

次のステップ

動作するエージェントができたら、以下を推奨します：

1. Agent Bricks Custom Agentsを使用して、エージェントをエージェントエンドポイントにデプロイし、Unity Catalogを使用して管理/バージョン管理します。
2. Mosaic AI Agent Eval Frameworkを使用して（AWS | Azure | GCP）評価を行い、エージェントがあなたの期待通りに動作していることを確認します。

評価フレームワークは、ベクトル検索インデックスがRAGエージェントのために関連情報をどの程度効果的に取得できるかを理解する上で重要となります。これらの指標に従うことで、埋め込みモデルの変更からLLMとの対話プロンプトの調整まで、どこを調整すべきかを知ることができます。

また、Foundation Model API（AWS | Azure | GCP）があなたのユースケースに十分かどうかを監視するべきです。ある時点で、Foundation Model APIの制限に達するため、より信頼性の高いエンドポイントを持つためにProvisioned Throughput（AWS | Azure | GCP）に移行する必要があります。

さらに、サーバーレスモデルの提供に対するコストに注意を払ってください（AWS | Azure | GCP）。これらのコストのほとんどはDatabricks SKUのサーバーレスモデル提供から発生し、スケールアップするにつれて増加する可能性があります。

Databricksでこれをどのように行うかを理解するためのこれらのブログをチェックしてください。

さらに、Databricks Delivery Solutions Architects（DSAs）は、組織全体のデータとAIのイニシアチブを加速させるのに役立ちます。DSAsは、アーキテクチャリーダーシップを提供し、プラットフォームをコストとパフォーマンスの観点から最適化し、開発者の経験を向上させ、プロジェクトの成功を推進します。彼らは、初期のデプロイメントと本格的なソリューションの間のギャップを埋め、データエンジニアリング、技術リーダー、エグゼクティブ、その他のステークホルダーを含む様々なチームと密接に連携して、カスタマイズされたソリューションとより早い価値提供を実現します。詳細については、Databricksアカウントチームにお問い合わせください。

---

 

自分だけのGenAIアプリを作成してみましょう！ ドキュメンテーションをチェックして始めてみてください。

Databricksでは、このエンドツーエンドのソリューションを開発するために必要なすべてのツールが揃っています。以下のブログをチェックして、Agent Bricks Custom Agentsを使用した新しいエージェントの管理と作業について学びましょう。