OfficeQA Pro V2のご紹介：エンタープライズ向けグラウンデッド・リーズニングの新たなベンチマーク

本日、AIエージェントが未知のエンタープライズスタイルの根拠に基づいた推論（grounded-reasoning）タスクに一般化できるかどうかを評価するために設計された、新しいベンチマークであるOfficeQA Pro V2、をリリースします。

7ヶ月前、私たちは、AIシステムが大規模なドキュメントコレクションからの証拠を使用して、分析的な質問にどの程度うまく回答できるかを測定するために、OfficeQAベンチマークを導入しました。これは、エージェントが苦戦していることが判明した、非常に一般的かつ重要なエンタープライズタスクです。導入以来、OfficeQAとそのフロンティアサブセットであるOfficeQA Proは、最先端モデルやエージェントの能力を測る重要な指標となり、ドキュメントの検索、パース、および分析的推論の進歩を牽引してきました。しかし、この進歩は根本的な疑問を投げかけます。これらの改善は、根拠に基づいた推論におけるより広範な進歩を反映しているのでしょうか、それとも特定のコーパスやタスク分布に特化した進歩なのでしょうか？エージェントが単一の安定したドキュメントコレクション上で動作することは稀であるエンタープライズ環境において、この違いは重要です。

私たちの新しいベンチマークであるOfficeQA Pro V2は、その一般化能力を直接テストするように設計されています。私たちは当初、初のDatabricks Grounded Reasoning CupのベンチマークとしてOfficeQA Pro V2を開発しました。これは、OpenAI、Anthropic、Google DeepMindの支援を受けた11のアカデミックチームが、これまで見たことのないコーパスと根拠に基づいた推論タスクのセットで評価されるエージェントを構築するライブコンペティションでした。このベンチマークには、米国建国250周年に合わせて米国財務省から初めて統合データセットとして公開された、米国財務省の「歳入歳出勘定（Accounts of Receipts and Expenditures）」の約12万ページに基づく90の質問が含まれています。今回、このベンチマークをより広範なAI実務者に公開し、それぞれの開発に役立てていただけることを嬉しく思います。

OfficeQA Pro V2は、今日のAIシステムにとって依然として困難な課題です。Claude Opus 4.8およびClaude Fable 5を搭載したClaude Code、またはGPT-5.5およびGPT-5.6 Solを搭載したCodexを使用する、そのまま使える（out-of-the-box）最先端エージェントの平均精度は37.5%でした。Grounded Reasoning Cupのために特別に開発されたエージェントはより優れたパフォーマンスを示し、平均41.1%で、優勝チームは63.3%に達しました。また、同じ基盤モデルを使用して、エンタープライズデータに関する複雑な質問に答えるように設計されたDatabricksのAIエージェントであるDatabricks Genieも評価しました。Databricksのai_parseを使用してドキュメントコーパスを事前にパースするGenieは、デフォルトのハーネスと比較して精度を平均24.0パーセンテージポイント向上させ、最も強力な構成では60%に達しました。これらの結果は、根拠に基づいた推論がまだ解決には程遠いものの、適切なエージェントハーネスを使用することで、既存の最先端モデルから大きな成果を引き出せることを示しています。

以下では、OfficeQA Pro V2におけるエージェントのパフォーマンス、その構築方法、およびオリジナルのOfficeQAベンチマークとの違いについて詳しく説明します。

OfficeQA Pro V2におけるエージェントのパフォーマンス

まず、各モデルプロバイダーの関連ハーネス（GPTモデルにはCodex、ClaudeモデルにはClaude Code）を使用し、OfficeQAで使用されたものと同じ許容誤差0.0%の決定論的完全一致メトリックを使用して、最先端モデルを評価しました。両方のハーネスの下で評価された5つのモデル全体で、これらのベースライン構成は平均26.0%の精度を達成しました。パフォーマンスはモデルによって大きく異なり、コストが高いからといって一貫して精度が高くなるわけではありませんでした。たとえば、Claude Code上のSonnet 5は1ロールアウトあたり5.01ドルで15.6%を記録したのに対し、Codex上のGPT-5.6 Solは同等の4.70ドルで33.3%に達しました。

これらのモデルをGenie内で使用することで、大幅な向上が得られました。対応するモデル比較全体で、Genieは精度を平均24.0パーセンテージポイント向上させました（相対的に92%の向上）。GPT-5.6 Luna、GPT-5.6 Terra、およびClaude Fable 5を使用したGenieの構成も、コスト対品質のパレートフロンティアを支配しており、これらの改善が効率性と精度をトレードオフにする必要がないことを示しています。Claude Fable 5の場合、Genieに切り替えることで、コストを約9分の1に削減しながら、パフォーマンスが14.4パーセンテージポイント（相対的に+32%）向上します。トレースを検査したところ、Fable 5は多くのドキュメントをパースしようとしてループに陥りやすく、その結果、1回あたり平均37.36ドルのコストがかかる長いロールアウトが発生することがわかりました。Genieはai_parseドキュメントを使用してドキュメントをパースするため、モデルは各ページから正しい情報を効率的に特定でき、それによってコストを削減し、パフォーマンスを向上させることができます。

これらのハーネスの改善は大幅な向上をもたらしますが、OfficeQA Pro V2には依然として大きな改善の余地（ヘッドルーム）が残されています。システムは、オリジナルのOfficeQAで観察されたものと同様の失敗モード（パースの忠実度、会計慣行の経時変化に伴う不正確な時間的調整、エンティティの範囲やカテゴリの粒度の誤解釈など）を示し続けています。

新しい根拠に基づいた推論ベンチマークの構築

一般化能力を真にテストするためには、複雑なドキュメントのパース、適切な証拠の検索、その情報に基づいた分析的推論の実行など、OfficeQAが測定するように設計されたエンタープライズ関連のスキルを反映した新しいコーパスが必要でした。

私たちは米国財務省と協力し、新しいコーパスを中心にベンチマークを構築しました。それは、財務省が米国建国250周年に合わせて初めて統一データセットとして公開を準備していた「米国連邦歳入歳出勘定（U.S. Federal Accounts of Receipts and Expenditures）」です。このコーパスは、1793年から2024年までの詳細な米国の会計記録を含む、約1,400のPDFと12万ページで構成されています。

オリジナルのOfficeQAベンチマークで使用された米国財務省公報（U.S. Treasury Bulletins）と同様に、この新しいコーパスは、高密度の表やグラフ、時間の経過とともに改訂される数値、進化する報告慣行、深い組織的知識など、エンタープライズドキュメントコレクションに共通する多くの課題を反映しています。これらの複雑さは、評価の難しさにもつながります。オリジナルのOfficeQAベンチマークと同様に、ベースラインの最先端エージェントがOfficeQA Pro V2で一貫して高い精度を達成するのは困難であることがわかっています。

合成データによるOfficeQA Pro V2のスケーリング

2025年末にオリジナルのOfficeQAベンチマークを作成した際、そのプロセスは高度に手動化されていました。人間のアノテーターが、8万9,000ページの米国財務省公報からなるコーパスをくまなく調べながら手作業で質問と回答を作成し、質問の品質を確保するために何度も人間のレビューを重ねる必要がありました。このアプローチは最終的に高品質なベンチマークを生み出したものの、時間がかかり、コストが高く、スケーリングが困難でした。それ以来、私たちはより効率的かつ信頼性の高い方法で、厳格なベンチマークの作成を自動化する技術を開発してきました。

OfficeQA Pro V2を構築するために、私たちは合成データ生成パイプラインを構築するための社内ライブラリであるasynthを活用しました。これにより、質問の生成と審査のための体系的なプロセスを使用して、根拠に基づいた推論の課題を正確に反映した、多様で検証可能なベンチマークを迅速かつスケーラブルに作成することができました。

1. インプット。 サンプルの多様性を促進するため、シンセサイザーには、ランダムに選択された期間、分析手法、ターゲットとなるソースドキュメントの数、およびパートナーであるUSAFactsと共同で作成したリストから抽出された主要なトピックがシードとして与えられました。これは、アナリストがコーパスに対して自然に投げかけるような質問を反映しています。
2. 合成。 各候補の質問に対して、合成エージェントがコーパスからこれらの基準に一致する証拠を検索し、追跡可能な根拠に基づいた推論の連鎖によって裏付けられたサンプルを生成しました。
3. 検証。次に、サンプルはいくつかの品質ゲートを通過し、ソースの忠実度、分析の関連性、多様性、および回答可能性について監査されました。独立したソルバーエージェントがゼロから質問に挑戦し、代替の解決軌道を生成し、それを検証エージェントがレビューしました。検証可能な正しい回答を持つ候補のみが次のステージに進みました。
4. 最終レビュー。最終的な品質管理ステップとして、追加のフロンティアモデルによって生成されたソリューションとともに、サンプルが手動でレビューされました。査読者は質問、回答、推論、および引用された証拠を一緒に検証し、解釈とグラウンドトゥルース（正解）が明白に正しいサンプルのみを保持しました。

作成された質問は、元のOfficeQAベンチマークで測定されたものと同じ、根拠に基づく推論（grounded-reasoning）のコア機能を必要とします。これには、複数のソースドキュメントにわたる検索、分析的推論、および補足的なウェブ検索や図のマルチモーダルな解釈などの特殊な機能が含まれます。ベンチマークの質問例と、その構成に関する詳細は以下をご覧ください。

質問の例

1. 難易度：低：最高裁判所長官の所得の計算：「1793年暦年（CY 1793）の後半における米国の収支報告書（Account of Receipts and Expenditures）に基づき、ジョン・ジェイが最高裁判所長官として得た所得の合計名目ドル価値はいくらですか。また、その支払いに対応する支払指示書（warrant）の番号は何番ですか。回答は、所得額、暦年順の支払指示書番号の順に、角括弧で囲んだカンマ区切りの値として返してください。」

この質問では、1793年の収支報告書の1ページを特定し、最高裁判所長官ジョン・ジェイに記録された4つの支払指示書による支払い（赤でハイライト表示）を読み取ると同時に、"do." が "ditto"（同上）の略語であり、前の行と同じデータカテゴリを示していることを正しく解釈する必要があります。次に、質問では「CY 1793の後半」が回答の範囲を7月と11月の支払いのみに限定していることを理解する必要があります。最後に、対応する支払指示書番号の検索と単純な合計を行って、最終的な回答を計算する必要があります。

2. 難易度：中：メディケア支出の増加予測：「1990年度（FY1990）から1994年度（FY1994）にかけて、プログラムの拡大に伴いメディケア支出は急速に増加しました。これらの会計年度に報告された年間のメディケア支出額にOLS線形回帰を当てはめると、報告されたメディケア支出の推定平均年間増加額は百万ドル単位でいくらになりますか（小数点以下第2位を四捨五入）。」

この質問では、5つの異なる年次総合財務報告書（Combined Statements）（FY1990〜FY1994、赤でハイライト表示）の「機能別支出（Outlays by Function）」表からメディケア支出額を検索する必要があります。重要な点として、エージェントは最初に報告された数値ではなく、最新の改訂された前年度列から各年の値を読み取る必要があります。最後に、エージェントは時系列データに線形回帰モデルを当てはめて、平均年間増加額を推定する必要があります。

3. 難易度：高：複数機関にわたる支出増加の予測：「米国財務省が報告した、商務省、内務省、国務省、環境保護庁（EPA）、および航空宇宙局（NASA）の構成要素である財務省口座シンボル（TAS）ファミリーから集計された合計純支出について、報告された支出に標準的な非季節性シータ（Theta）法を当てはめます。θ=0コンポーネントをOLS線形トレンドとして推定し、θ=2変換シリーズを構築し、そのコンポーネントを最初の値で初期化された単純指数平滑化で予測し、[0, 1]の範囲でαを選択します（α = 1.0を許容）。この予測を使用し、θ=0とθ=2の1ステップ先予測を平均すると、1989年度（FY1989）の予測値は百万ドル単位でいくらになりますか（小数第2位を四捨五入）。」

この質問では、8つの異なる総合財務報告書から、5つの異なる機関（商務省、内務省、国務省、EPA、NASA）の8年間（FY1981〜FY1988）の純支出の時系列データを構築する必要があります。ここでも、エージェントは各年について最新の報告された数値のみを使用しなければなりません。その後、得られた時系列データを使用して、特定の予測手法を用いてFY1989の純支出を予測する必要があります。

ベンチマークの詳細

OfficeQA Pro V2は90の質問で構成されており、そのすべてがベンチマークのコーパスからの証拠を必要とします。合成データ検証パイプラインの一環として、パラメータ知識やウェブ検索のみで回答できる質問は除外しました。

新しいコーパスに基づいて構築されていますが、OfficeQA Pro V2は、質問セット全体（OfficeQA Full）および最難関のサブセット（OfficeQA Pro）の両方において、元のOfficeQAベンチマークで測定されたエンタープライズ向けの根拠に基づく推論（grounded-reasoning）のコア機能を維持しています。質問の7%はチャート、グラフ、または図の視覚的理解を必要としますが、これはOfficeQA Proの約3%と比較されます。また、別の10%はウェブ検索を通じて得られる補足情報（インフレ指数、GDPシリーズ、人口統計など）を必要としますが、これはOfficeQA Proの21.8%、OfficeQA Fullの15.9%と比較されます。合わせると、OfficeQA Pro V2の質問の約6分の1が、テキストの検索や分析を超えた、これらの特殊な機能の少なくとも1つを必要としています。

OfficeQA Proと比較して、OfficeQA Pro V2は質問ごとに大幅に多くのソースドキュメントからの証拠を必要とします。OfficeQA Proの質問は平均して約2つの財務省公報（Treasury Bulletin）ドキュメントを利用するのに対し、OfficeQA Pro V2の質問は平均6.7個のソースドキュメント（中央値5.5、最大24）からの証拠を必要とします。全体として、OfficeQA Pro V2の質問の74.4%が4つ以上のソースを必要としており、これはOfficeQA Proの62.4%、OfficeQA Fullの56.1%と比較されます。

これらを総合すると、これらの特徴により、OfficeQA Pro V2は元のベンチマークよりもエンドツーエンドの根拠に基づく推論（grounded reasoning）のより厳しいテストとなっています。その一方で、エンタープライズワークフローに見られる分析、マルチモーダル、外部知識の要件の現実的な組み合わせは維持されています。このベンチマークが依然として困難である理由を理解するには、基礎となるドキュメントや報告規則が時間の経過とともにどれほど劇的に進化してきたかを調べることが役立ちます。

2世紀以上にわたるコーパス

232年にわたる米国連邦政府の財務報告を網羅するこのコーパスは、2世紀以上にわたるドキュメント構造、会計慣行、用語、および機関の進化も捉えています。たとえば、1700年代後半から1800年代前半の記録には、個人への支払いが記録されていることがよくあります。これらのドキュメントには、横長の見開きページ、“Treaſury”や“Preſident”などの単語における長い「s」（ſ）の使用といった古風なタイポグラフィ、および“do./ditto”の記録といった歴史的な記述慣行が含まれていることが多く、これらは現代のパース（解析）ソリューションにとって新たな課題となっています。

19世紀半ばまでに、データは2ページのT勘定形式や高密度な罫線付きの表で提示されるようになり、報告期間は暦年から会計年度に変更されました。その後、1900年代初頭には、期首・期末残高、複数年予算、黒字・赤字の慣行など、新しい財務用語が導入されました。

1980年代までに、Combined Statement（統合報告書）は詳細な付録を含む年次報告書へと発展しました。2000年代初頭には、これらの報告書はデジタルネイティブとなり、標準化された目次とともに視覚的なチャートが組み込まれるようになりました。

OfficeQA Pro V2は、Accounts of Receipts and Expenditures（歳入歳出決算書）の複雑さをベースにしており、根拠に基づく推論（grounded reasoning）にとって特に厳しいストレステストとなっています。コーパス全体を通して、同じ財務概念であっても、名称、場所、テーブルスキーマ、単位、時間基準、集計レベルが変化することがあります。これは、エージェントがドキュメントを解析して値を検索するだけでなく、変化する報告規則にまたがって情報を整合させなければならないことを意味します。これは企業環境において典型的な複雑さです。

結論と謝辞

このベンチマークと解析済みコーパスは、現在Hugging Faceで公開されており、評価コードはGitHubで入手できます。研究者や実務家の皆様には、OfficeQA Pro V2でご自身のエージェントシステムを評価することをお勧めします。また、OfficeQA Proのテストセットとしての使用も推奨します。企業の開発者にとって、OfficeQA Pro V2は、大規模で異種混合のドキュメントコレクション全体にわたる複雑な質問に回答する必要があるエージェントを構築するためのテストベッドとして機能します。開発チームはこれを使用して、モデルやエージェントアーキテクチャを比較し、エラーの原因が解析、検索、推論、検証のいずれにあるかを特定し、システムへの変更が精度、レイテンシ、コストにどのように影響するかを測定してから、それらのアプローチを自社のエンタープライズデータに適用できます。最後に、読者の皆様に3つの重要なポイントをお伝えします：

1. 代表的な評価は不可欠であり、合成データはそれらを拡張するのに役立ちます。 最先端のエージェント（frontier agents）は、そのままの状態（out of the box）では依然として企業のワークフローに苦戦しているため、現実世界の複雑さを反映したタスクでシステムを評価し、改善が未知の環境に一般化するかどうかをテストすることが極めて重要です。Databricksでは、合成データ技術とお客様のワークフローに対する理解を組み合わせることで、OfficeQA Pro V2のような代表的な評価をより効率的かつ大規模に構築しています。
2. 最適なパフォーマンスを達成するには、最適化されたエージェントハーネスが不可欠です。 モデルプロバイダーのベースラインハーネスからDatabricks Genieに移行したことで、評価されたモデル全体でパフォーマンスが平均24.0パーセンテージポイント（相対比+92%）向上しました。これらの結果は、ドキュメント処理、検索、ツールの使用、およびオーケストレーションの選択が、根拠に基づく推論（grounded-reasoning）システムの精度と効率の両方に大きな影響を与える可能性があることを示しています。
3. 根拠に基づく推論には、依然として改善の余地が大きく残されています。 ハーネスの最適化によって、そのままのベースラインと比較して大幅な向上が見られたものの、最も強力なシステムであっても、正確なドキュメント解析、時系列での値の整合、最新の改訂数値の取得といった課題に引き続き苦戦しています。継続的な進歩には、解析や検索から分析や検証に至るまで、エージェントスタック全体にわたるイノベーションが必要となります。

新しいコーパスの特定、代表的な分析トピックや質問の開発、Grounded Reasoning Cupの開催など、OfficeQAベンチマークスイートにおける継続的なパートナーシップに対してUSAFactsに感謝いたします。また、コンペティションベンチマークの基礎として米国歳入歳出決算書（U.S. Accounts of Receipts and Expenditures）を特定するのを支援し、このデータセットを初めてまとまったコレクションとして公開してくださった米国財務省（U.S. Treasury）にも感謝いたします。

著者：Krista Opsahl-Ong, Arnav Singhvi, Josh Joseph, Jasmine Collins, Ivan Zhou, Shubham Toshniwal, Michael Bendersky, Erich Elsen, Xing Chen, Matei Zaharia

詳細を確認し、OfficeQA Pro V2を使い始めるには、Hugging Faceでベンチマークをチェックしてください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事