構造化チャート抽出によるエージェント検索の強化

開発の動機

現在、自社固有のドキュメントをAIエージェントに読み込ませ、その内容について質問に答えさせようとする企業が増えています。しかし、重要な情報の多くは図やグラフの中に存在します。多くのお客様が、グラフ内の数値を読み取ったり数えたりする必要がある質問に対して、エージェントがうまく答えられないという課題に直面しています。多様なビジネス環境でエージェントを確実に機能させるには、グラフをより解釈しやすくする必要があります。

どうすればエージェントがグラフを理解しやすくなるでしょうか？私たちは簡単で迅速なテストを実施しました。さまざまなエージェントに、「このグラフには極大値がいくつありますか？」と質問したのです。

以下は、この質問に対する最先端のエージェントとDatabricks Genieの回答の比較です。最先端のエージェントには画像のみが渡され、50秒間推論を行いましたが、17という誤った答えを返しました。一方、Databricks Genieはai_parse_documentを通じてグラフの構造化抽出を行い、18という正しい回答を得ました。

私たちは、自社のOfficeQA Proベンチマークにおいて、これらの欠点に気づきました。このベンチマークでは、グラフの理解を必要としない質問に比べて、グラフに基づく質問やマルチモーダルな質問に対するモデルのパフォーマンスが低下していました。同様のギャップは、特にお客様の情報検索システム（特に金融サービス分野）でも見られます。テキストベースの検索システムは、テキスト空間しか検索できません。一般的な解決策は、グラフの内容を説明するキャプションを生成することですが、それではグラフ内の数値に関する詳細な質問に必要なデータが抜け落ちてしまう可能性があります。その結果、システムが誤ったページを検索してしまったり、正しいページを検索できても質問に答えるのに十分な情報が得られなかったりします。

本記事では、グラフからの構造化抽出が、グラフに基づく質問に対する検索精度と回答品質の両方を向上させることを示します。私たちは、視覚的に豊かなドキュメントの検索と質問回答のベンチマークであるViDoRe V3のグラフ中心のサブセットと、Chart-RAGと呼ぶ合成グラフに焦点を当てたデータセットの2つで、このアプローチを評価します。私たちの手法は、大規模なシングルベクトルおよびマルチベクトルのマルチモーダル埋め込みモデルと同等に競争力のあるパフォーマンスを発揮します。

私たちは、最先端の研究手法で最適化された組み合わせ可能な関数群であるDatabricksのAI functionsを使用して、グラフを認識する検索パイプラインをエンドツーエンドで構築しました（図2を参照）。ai_parse_documentを使用して、構造化JSONとして表現されたグラフを含むドキュメントコンテンツを抽出し、ai_prep_searchを使用してコンテンツを検索可能なチャンクに変換し、軽量な3億パラメータのテキスト埋め込みモデルでインデックスを作成しました。これらのチャンクからai_searchを使用してインデックスを作成し、そのインデックスを検索と回答のためにGenieに接続しました。

評価方法

私たちは、同じソースPDFから作成され、グラフ図の表現方法のみが異なる、3億パラメータのBGEテキスト埋め込みモデルを使用して作成された2つのインデックスを比較しました。

• キャプションのみ（ベースライン）: キャプションのみで表現された図
• JSON強化: キャプションと構造化グラフJSONで表現され、図のチャンク内にインラインで埋め込まれたグラフ図

グラフ抽出の例:

私たちは、ViDoRe V3ベンチマークから、グラフやインフォグラフィックが多用されている310個の質問を評価しました。このベンチマークは、雇用、エネルギー、製薬、物理学、金融、コンピュータサイエンス、産業ドキュメントの7つのドメインにわたる検索と回答を評価します。各実験では、1万6千ページにおよぶ英語のコーパス全体をパースしてチャンク化し、インデックス全体を検索してすべてのクエリに対する回答を生成しました。

グラフに焦点を当てた質問が選択されましたが、その多くは周囲のテキストを使用して回答することも可能でした。グラフコンテンツの影響を分離するために、私たちは、グラフが多く含まれる3つの複雑なレポート（BIS Quarterly Review、IMF World Economic Outlook、J.P. Morgan Long-Term Capital Market Assumptions）から作成された、グラフに基づく質問のみに焦点を当てた2つ目のベンチマークを作成しました。合計378ページに及ぶこれら3つのドキュメントから、視覚的根拠に基づく質問を114個作成し、合成Chart-RAGデータセットを構築しました。

採点: LLMジャッジ（gemini-3-flash）を使用し、正解（gold answer）と比較して、各回答を「正解（Correct）」「部分的に正解（Partially Correct）」「不正解（Incorrect）」としてスコアリングしました。

検索精度: Hit Rate@10とnDCG@10を報告します。Hit Rate@10は、検索結果の上位10件に少なくとも1つの正解ページが含まれているかどうかを確認します。ViDoReベンチマークの質問には複数の正解ページが存在する場合があり、それぞれに1または2の関連度スコアが割り当てられています。Hit Rate@10では、いずれのスコアのページもヒットとしてカウントすることで、段階的な関連度をバイナリの関連度に変換します。nDCG@10では、元の段階的な関連度をそのまま保持します。Chart-RAGデータセットでは、各クエリに1つの正解ページがあります。

安定した測定を行うため、各構成を3回実行し、信頼区間を伴う結果を報告します。

構造化されたグラフデータが検索精度と回答品質を向上させる

構造化されたグラフJSONは、両方のデータセットにおいて回答品質と検索精度の両方を向上させます。以下の質問レベルの分析は、修正された回答が検索精度の向上とどのように一致しているかを示しています。

Chart-RAGデータセットの以下の例は、JSON表現が検索精度と回答品質をどのように向上させるかを示しています。

この検索精度の向上は、グラフに関する質問だけに留まらない可能性があります。抽出されたグラフの数値やラベルによって、回答がグラフ上に直接表示されていない場合でも、ページ自体の検索が容易になります。

画像による回答品質のさらなる向上

質問によっては、単なる数値だけでなく、図の見た目に依存するものもあります。視覚的コンテキストを復元することのメリットを測定するため、回答時に、上位3つの検索されたテキストチャンクに対応する画像とJSONをエージェントに提供しました。

ここでは検索結果は変更されていません。画像を追加することで、Chart-RAGデータセットで4パーセントポイント、ViDoRe V3サブセットで2.6パーセントポイント向上しました。

JSON表現はマルチモーダル埋め込みに匹敵

1つの疑問は、軽量な3億パラメータのテキスト埋め込みモデルを使用する私たちの手法が、マルチモーダル埋め込みモデルとどのように比較されるかということです。私たちは、4つの代替モデル（late-interactionスコアリングを使用する大規模マルチベクトル・マルチモーダル埋め込みモデルであるColQwen2.5-3B、大規模シングルベクトル・マルチモーダル埋め込みモデルであるQwen3-VL-Embedding-2B、およびより軽量なシングルベクトルモデルであるJina CLIP v2（9億パラメータ）とCLIP ViT-L/14（4億2800万パラメータ））をベンチマークとして比較しました。各マルチモーダルモデルはすべてのページを埋め込みました。クエリ実行時、ColQwen2.5-3BにはMaxSimを、シングルベクトルモデルにはコサイン類似度を使用してページをランク付けし、コーパス全体に対して検索を行い、スコアの高い上位5ページを回答用のVLMに渡しました。5つの検索ページを使用して回答の正確性を報告する理由は2つあります。第一に、ViDoReサブセットとChart-RAGデータセットにおいて、最もパフォーマンスの高い深度のバランスの取れた中間点となるためです。第二に、5ページは私たちの手法で使用される平均的な入力コンテキストに近いため、公平な比較が可能になります。標準的な検索メトリクスとして、引き続きnDCG@10も報告します。

ViDoRe V3:

Chart-RAG:

最も強力なモデルでは、コーパスサイズが378ページと小さいため、Chart-RAGデータセットでの検索はほぼ飽和状態にあります。したがって、ここでのより興味深い比較は回答の品質です。

ViDoRe V3では、グラフJSONと上位3つの画像を組み合わせることで、75.9%の正解率に達します。Chart-RAGでは、同じ設定で75.1%に達します。どちらのケースも、モデルに渡す画像は3つだけであるにもかかわらず、4つのマルチモーダル埋め込みベースラインを上回っています。このパフォーマンスは、ColQwen2.5-3Bのマルチベクトル、late-interactionアーキテクチャと比較して、約10倍小さくシンプルな代替手段によって実現されています。構造化されたグラフの前処理は、より少ない画像バジェットと、より低いインデックス作成および検索のオーバーヘッドで、競争力のある回答品質を提供できます。

結論

グラフは、企業ドキュメントにおける主要な情報形式です。グラフ情報を検索しやすく、明確に解釈できるようにすることは、検索エージェントの精度にとって極めて重要です。構造化されたグラフJSONは、検索インデックスに正確な値を追加し、エージェントが推論できるようにすることで、従来のRAGシステムにおけるギャップを埋めます。構造化されたグラフJSONが、検索品質とエージェントの回答精度の両方を向上させることを示します。今後の取り組みでは、異なる構造化抽出の表現フォーマットが検索および回答の精度にどのように影響するかをさらに探求する予定です。

ai_parse_document向けのグラフJSON拡張機能はまもなく利用可能になります。これにより、解析されるすべてのドキュメントに、関数のインターフェースを変更することなく、グラフの値が構造化テキストとして自動的に含まれるようになります。検索には、ai_prep_searchと組み合わせることをお勧めします。この機能は、Databricksのお客様向けにPDF上のグラフ関連の質問に対する回答を改善するため、Genie Oneにも活用される予定です。

著者：Amrutha Srivatsav, Ivan Zhou, Jasmine Collins, Michael Bendersky, Adyasha Maharana, Erich Elsen, Xing Chen, Matei Zaharia

グラフを認識する検索および回答パイプラインを構築するために、ai_prep_searchを組み合わせたai_parse_documentをまもなくお試しいただけます

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事