マルチモーダルRAGで患者データを統合する

はじめに：多様なデータがAIを可能にする

マルチモーダル検索は、現代のAIシステムにおける大きな課題です。従来の検索システムは、広範なメタデータやタグ付けなしに、さまざまなデータタイプを効果的に検索するのに苦労しています。これは、特にテキスト、画像、音声など、多くの場合構造化されていないデータソースを含む大量の多様なコンテンツを管理するヘルスケア企業にとって問題となります。

ヘルスケア分野で働く人なら誰でも、構造化されていないデータを構造化されたデータと統合する難しさを理解しています。この一般的な例は、臨床文書であり、患者からの手書きの臨床ノートや退院サマリーがPDFや画像などの形式で提出されることがよくあります。これを手動で変換するか、光学文字認識（OCR）を使用して処理して、必要な情報を見つける必要があります。このステップの後でも、効果的に利用するために、データを既存の構造化データにマッピングする必要があります。

このブログでは、次の点を確認します。

1. オープンソースのマルチモーダルモデルをDatabricksにロードする方法
2. オープンソースモデルを使用して、構造化されていないデータに埋め込みを生成する
3. これらの埋め込みをベクトル検索インデックスに保存する（AWS | Azure | GCP）
4. Genie Spaces（AWS | Azure | GCP）を使用して構造化データをクエリする
5. DSPyを使用して、Genie SpaceとAI Search Indexを使用して入力に応答するマルチツール呼び出しエージェントを作成する（DSPy）

このブログの終わりまでに、マルチモーダル埋め込みがヘルスケアで以下のことを可能にする方法がわかります。

1. PDF内のテキストだけでなく、すべてのコンテンツを使用することで、より多様なデータ
2. どのような種類のデータと連携する必要があるかわからない可能性があるため、ヘルスケアでは特に価値のある、あらゆるデータを一緒に使用できる柔軟性
3. エージェントによるデータの統合により、より包括的な回答が可能になります

埋め込みとは何ですか？

埋め込み空間（AWS | Azure | GCP）は、1つ以上のデータモダリティを浮動小数点数のベクトルとして格納できる、レコードのn次元数学的表現です。それが有用なのは、適切に構築された埋め込み空間では、意味が類似したレコードが類似した空間を占めるからです。たとえば、馬の写真、単語「トラック」、犬の鳴き声のオーディオ録音があったとします。これらの3つの完全に異なるデータポイントをマルチモーダル埋め込みモデルに渡し、次の結果を取得します。

• 馬の写真：[0.92, 0.59, 0.17]
• 「トラック」：[0.19, 0.93, 0.81]
• 犬の鳴き声：[0.94, 0.11, 0.86]

ここに、埋め込み空間で数値が存在する場所の視覚的表現があります。

実際には、埋め込み空間の次元は数百または数千になりますが、説明のために3次元を使用します。これらのベクトルの最初の位置が「動物らしさ」、2番目が「輸送らしさ」、3番目が「騒音らしさ」を表すと想像できます。それは埋め込みを考えると理にかなっていますが、通常、各次元が何を表すかはわかりません。重要なのは、それらがレコードの意味論的意味を表しているということです。

複数のエンコーダー（CLIPなど）を同時にトレーニングする、クロスアテンションメカニズム（DALL-Eなど）を使用する、またはさまざまなトレーニング後アライメント方法を使用するなど、マルチモーダル埋め込み空間を作成する方法はいくつかあります。これらの方法は、レコードの意味が元のモダリティを超えて、他の異なるレコードや形式と共有スペースを占めることを可能にします。

この共有意味空間は、強力なクロスモーダル検索機能を可能にするものです。テキストクエリと画像が類似したベクトル表現を共有する場合、それらは類似した意味を共有する可能性が高く、明示的なタグやメタデータなしでテキストの説明に基づいて関連画像を見つけることができます。

マルチモーダル埋め込みモデル：埋め込み空間の共有

マルチモーダル検索を効果的に実装するには、共有ベクトル空間内でさまざまなデータタイプに埋め込みを生成できるモデルが必要です。これらのモデルは、さまざまなモダリティ間の関係を理解し、それらを統一された数学的空間で表現するように特別に設計されています。

2025年6月現在、いくつかの強力なマルチモーダル埋め込みモデルが利用可能です。

• CohereのMultimodal Embed 4：テキストと画像のデータを高精度かつ高性能で埋め込むのに優れている多用途モデルです。
• Nomic-Embed：さまざまなデータタイプを統一された空間に埋め込むための強力な機能を提供します。これは数少ない完全にオープンソースのモデルの1つです。
• Meta ImageBind：画像、テキスト、音声、深度、熱、IMUデータなど、6つの異なるモダリティを処理できる印象的なモデルです。
• CLIP（Contrastive Language-Image pretraining）：OpenAIによって開発されたCLIPは、さまざまな画像とテキストのペアでトレーニングされており、視覚データとテキストデータの間のギャップを効果的に埋めることができます。

主要なアーキテクチャの考慮事項

Databricksでは、ユースケースに合わせてカスタマイズ可能なエンドツーエンドソリューションをホスト、評価、開発するためのインフラストラクチャとツールを提供しています。このユースケースのデプロイを開始する際には、次のシナリオを検討してください。

スケーラビリティとパフォーマンス

• 処理オプションは、データセットサイズに基づいて選択する必要があります。小規模データセットまたは開発作業の場合はインメモリ処理、高スループットを必要とする本番ワークロードの場合はモデルサービング（AWS | Azure | GCP）が必要です。
• Databricks Vector Storage Optimized エンドポイントと Standard エンドポイントの比較 (AWS | Azure | GCP)。 ベクトルが多い場合は、ストレージ最適化エンドポイントを使用して、より多くのベクトル（約2億5000万以上）を格納することを検討してください。

コストに関する考慮事項

• 大規模な実装の場合、埋め込みモデルのサービングとバッチ推論のための AI Query (AWS | Azure | GCP) の使用は、インメモリ処理よりも効率的です。
• AI Search Index のトリガー更新または継続的更新が必要かどうかを判断してください (AWS | Azure | GCP)
• 繰り返しになりますが、ストレージ最適化エンドポイントと標準エンドポイントを比較検討してください。
• これらのコストは、Serverless Real-time Inference SKU で追跡できます。
• 予算ポリシー (AWS | Azure | GCP) を使用して、消費量を正確に追跡していることを確認してください。

運用上の卓越性

• Databricks でパイプラインとワークフロー (AWS | Azure | GCP) および Databricks Asset Bundles (AWS | Azure | GCP) を使用して、ソースデータの変更を検出し、それに応じて埋め込みを更新します。
• AI Search Delta Sync (AWS | Azure | GCP) を使用して、インデックスへの同期を完全に自動化します。パイプラインの管理は不要です。
• AI Search は、信頼性を確保するために、障害、再試行、最適化を自動的に処理します。

ネットワークとセキュリティに関する考慮事項

• ワークスペースで HIPAA コンプライアンスを確保するために、Databricks Compliance Profiles (AWS | Azure | GCP) を使用します。
• シークレットを管理するには、Databricks Secret Manager または Key Management Systems を使用します。
• Databricks が AI マネージドサービスでデータをどのように処理するかについては、ドキュメントの信頼性と安全性に関する説明 (AWS | Azure | GCP) を参照してください。

技術ソリューションの内訳

このソリューションの完全な実装については、こちらのリポジトリを参照してください: Github リンク

この例では、合成患者情報（構造化データ）と、PDF形式の補足説明（非構造化データ）を使用します。まず、Genie Space で使用する合成データを生成します。次に、最先端のオープンソースマルチモーダル埋め込みモデルである Nomic マルチモーダル埋め込みモデルを Databricks Model Serving にロードし、オンラインで見つかった補足説明のサンプルから埋め込みを生成します。

このプロセスは複雑に聞こえるかもしれませんが、Databricks は完全なエンドツーエンドソリューションを可能にする組み込みツールを提供しています。大まかには、プロセスは次のようになります:

1. Autoloader による取り込み (AWS | Azure | GCP)
2. Lakeflow Declarative Pipelines による ETL (AWS | Azure | GCP)
3. Databricks でホストされたマルチモーダル埋め込みモデルによる埋め込みの作成
4. AI Search インデックスへの埋め込みのホスティング (AWS | Azure | GCP)
5. Model Serving によるサービング (AWS | Azure | GCP)
6. エージェントフレームワーク を使用してエージェントを保護、デプロイ、ガバナンスします。

Genie Space の作成

この Genie Space は、自然言語を SQL クエリに変換して構造化データをクエリするためのツールとして使用されます。

ステップ 1: 合成患者データの生成

この例では、Faker ライブラリ を使用してランダムな患者情報を生成します。データを多様化するために、受診理由、保険提供者、保険の種類などの列を持つ「患者の受診」と「診療所の場所」の 2 つのテーブルを作成します。

ステップ2：患者情報ゲニー空間を作成する

自然言語でデータをクエリするには、Databricks Genie Spaces（AWS | Azure | GCP）を利用して、クエリを自然言語に変換し、関連する患者データを取得できます。Databricks UIで、左側のバーにある「Genie」タブをクリックし、「New」を選択して、patient_visitsとpractice_locationsテーブルを選択するだけです。

roomsの後の番号を取得するために、Genie Space IDが必要です。例を以下に示します。

ステップ3：エージェントが使用するGenieツールを表す関数を作成します。

DSPyを使用しているため、Python関数を定義するだけで済みます。

これで完了です！次に、マルチモーダル生成ワークフローを設定しましょう。

マルチモーダル埋め込み生成

このステップでは、HuggingFaceにある完全にオープンなcolNomic-embed-multimodal-7b モデルを使用して、この場合PDFである非構造化データの埋め込みを生成します。Nomicのモデルを選択したのは、Apache 2.0ライセンスとベンチマークでの高いパフォーマンスのためです。

埋め込みを生成する方法は、ユースケースとモダリティによって異なります。Databricks AI Searchのベストプラクティス（AWS | Azure | GCP）を確認して、ユースケースに最適な方法を理解してください。

ステップ1：モデルをロード、登録、およびDatabricksでサーブする

このモデルをDatabricks Unity Catalog (UC)で利用できるようにする必要があるため、MLflowを使用してHuggingfaceからロードして登録します。その後、モデルをモデルサービングエンドポイントにデプロイできます。

Pythonモデルには、画像入力を処理するための追加ロジックが含まれています。これは、完全なリポジトリで見つけることができます。

UC Volumesはファイルシステムのように設計されており、任意のファイルをホストするために使用され、非構造化データを保存する場所です。将来的には、画像などの他のファイルを保存するために使用でき、必要に応じてプロセスを繰り返すことができます。これには上記のモデルも含まれます。リポジトリでは、キャッシュがボリュームを参照していることがわかります。

ステップ2：PDFをリストにロードする

sample_pdf_sbcという名前のフォルダがあり、いくつかの例のメリットとカバレッジの概要が含まれています。これらのPDFを埋め込むために準備する必要があります。

ステップ3：PDFを画像に変換してcolNomicモデルで埋め込む。

colNomic-embed-multimodal-7bモデルは、画像内のテキストと画像を認識するように特別にトレーニングされており、PDFからの一般的な入力です。これにより、モデルはこれらのページを検索する際に非常に優れたパフォーマンスを発揮します。

この方法により、テキストチャンキング戦略を使用せずにPDF内のすべてのコンテンツを利用できるため、検索が効果的に機能します。モデル自体がこれらの画像を独自の埋め込み空間にうまく埋め込むことができます。

pdf2imageを使用して、PDFの各ページを画像に変換し、埋め込みの準備をします。

ステップ4：埋め込みを生成する

これでPDF画像ができたので、埋め込みを生成できます。同時に、AI Searchと一緒に取得する追加の列（ボリュームの場所へのファイルパスなど）を持つ埋め込みをDeltaテーブルに保存できます。

ステップ 5: ベクトル検索インデックスとエンドポイントの作成

ベクトル検索インデックスは、UI または API を介して作成できます。API メソッドを以下に示します。

これで、エージェントですべてを連携させるだけです。

DSPy によるデータの統合

DSPy は、宣言型で純粋な Python 設計のため、これに使用します。これにより、反復処理と開発を迅速に行い、さまざまなモデルをテストして、ユースケースに最適なモデルを見つけることができます。最も重要なのは、宣言型であるため、エージェントのロジックをツールから分離し、エージェントがタスクをどのように達成すべきかを定義することに集中できることです。

そして、一番良いところは？ 手動のプロンプトエンジニアリングは不要です！

ステップ 1: dspy.Signatures の定義

このシグネチャは、入出力 ทั้งสอง を指定および強制し、シグネチャがどのように機能すべきかを説明します。

ステップ 2: シグネチャを dspy.module に追加

モジュールは、シグネチャからの指示を受け取り、LLM に送信するための最適なプロンプトを作成します。この特定のユースケースでは、`MultiModalPatientInsuranceAnalyzer()` というカスタムモジュールを構築します。

このカスタムモジュールは、フォワードメソッドでシグネチャをステップに分解し、ほぼ「チェーン」のように呼び出します。このプロセスに従います。

1. 上記で定義されたシグネチャを取得し、クラスで初期化します
2. ツールを定義します。Python 関数であるだけで十分です
   1. この投稿では、ベクトル検索ツールと Genie Space ツールを作成します。これらのツールはどちらも Databricks SDK を使用して、これらのサービスに API 呼び出しを行います。
   2. フォワードメソッドでロジックを定義します。この場合、キーワードを抽出し、ベクトル検索インデックスにヒットしてから、最終的な LLM 呼び出しに応答のためにすべてを渡す必要があることがわかっています。

ステップ 3: すべて完了！実行しましょう！

エージェントが使用したツールと、質問に答えるためにエージェントが行った推論を確認します。

次のステップ

動作するエージェントができたら、以下をお勧めします:

1. エージェントをエージェントエンドポイントにデプロイし、Unity Catalogを使用して管理およびバージョン管理するには、Agent Bricks Custom Agentsを使用します。
   
2. 評価を実行し、エージェントが期待どおりに機能していることを確認するには、Databricks Agent Eval Framework（AWS | Azure | GCP）を使用します。

評価フレームワークは、RAGエージェントに対してAI Searchインデックスが関連情報をどの程度効果的に取得しているかを理解する上で重要になります。これらのメトリックに従うことで、埋め込みモデルの変更からLLMと対話するプロンプトの調整まで、どこを調整する必要があるかがわかります。

また、Foundation Model API（AWS | Azure | GCP）がユースケースに十分かどうかを確認する必要があります。ある時点でFoundation Model APIのAPI制限に達するため、LLMのより信頼性の高いエンドポイントを得るには、Provisioned Throughput（AWS | Azure | GCP）に移行する必要があります。

さらに、サーバーレスモデルサービング（AWS | Azure | GCP）に対するコストを注意深く監視してください。これらのコストのほとんどは、Databricks SKUサーバーレスモデルサービングから発生し、スケールアップするにつれて増加する可能性があります。

Databricksでこれを行う方法を理解するには、これらのブログをご覧ください。

さらに、Databricks Delivery Solutions Architects（DSA）は、組織全体のデータとAIのイニシアチブを加速するのに役立ちます。DSAは、アーキテクチャのリーダーシップを提供し、コストとパフォーマンスのためにプラットフォームを最適化し、開発者のエクスペリエンスを向上させ、プロジェクトの成功を推進します。初期導入と本番グレードのソリューションの間のギャップを埋め、データエンジニアリング、テクニカルリード、エグゼクティブ、その他の関係者と緊密に連携して、テーラードソリューションとより迅速な価値実現を保証します。詳細については、Databricksアカウントチームにお問い合わせください。

---

独自のGenAIアプリを構築して始めましょう！ドキュメントをチェックして開始してください。

Databricksでは、このエンドツーエンドソリューションを開発するために必要なすべてのツールが揃っています。以下のブログをチェックして、Agent Bricks Custom Agentsを使用して新しいエージェントを管理および操作する方法について学びましょう。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事