Présentation d'OfficeQA Pro V2 : un nouveau benchmark pour le raisonnement ancré en entreprise

Aujourd'hui, nous publions OfficeQA Pro V2, un nouveau benchmark conçu pour évaluer si les agents AI peuvent se généraliser à des tâches de raisonnement ancré de type entreprise non familières.

Il y a sept mois, nous avons introduit le benchmark OfficeQA pour mesurer la capacité des systèmes AI à répondre à des questions analytiques à l'aide de preuves issues de vastes collections de documents, une tâche d'entreprise extrêmement courante et importante avec laquelle nous avons constaté que les agents avaient du mal. Depuis son introduction, OfficeQA et son sous-ensemble de pointe, OfficeQA Pro, sont devenus une mesure importante des capacités des modèles de pointe et des agents, stimulant les progrès en matière de recherche de documents, de parsing et de raisonnement analytique. Mais ces progrès soulèvent une question fondamentale : ces améliorations reflètent-elles des avancées plus larges en matière de raisonnement ancré, ou des progrès spécifiques à un corpus et à une distribution de tâches particuliers ? Cette distinction est importante dans les environnements d'entreprise, où les agents opèrent rarement sur une collection de documents unique et stable.

Notre nouveau benchmark, OfficeQA Pro V2, est conçu pour tester directement cette généralisation. Nous avons initialement développé OfficeQA Pro V2 comme benchmark pour l'inauguration de la Databricks Grounded Reasoning Cup, une compétition en direct dans laquelle 11 équipes académiques, soutenues par OpenAI, Anthropic et Google DeepMind, ont conçu des agents qui ont été évalués sur un corpus et un ensemble de tâches de raisonnement ancré jusqu'alors inédits. Le benchmark contient 90 questions ancrées dans environ 120 000 pages issues des Comptes des recettes et des dépenses du Trésor américain (U.S. Treasury’s Accounts of Receipts and Expenditures), publiés pour la première fois sous forme de jeu de données unifié par le Trésor américain à l'occasion du 250e anniversaire des États-Unis. Aujourd'hui, nous sommes ravis de mettre ce benchmark à la disposition des professionnels de l'AI afin qu'ils l'utilisent pour leurs propres développements.

OfficeQA Pro V2 reste un défi pour les systèmes AI actuels. Les agents de pointe prêts à l'emploi utilisant Claude Code avec Claude Opus 4.8 et Claude Fable 5, ou Codex avec GPT-5.5 et GPT-5.6 Sol, ont atteint une précision moyenne de 37,5 %. Les agents développés spécifiquement pour la Grounded Reasoning Cup ont obtenu de meilleurs résultats, avec une moyenne de 41,1 %, l'équipe gagnante atteignant 63,3 %. Nous avons également évalué Databricks Genie, l'agent AI de Databricks conçu pour répondre à des questions complexes sur les données d'entreprise, en utilisant les mêmes modèles sous-jacents. Genie, qui utilise également le ai_parse de Databricks pour pré-analyser le corpus de documents, a amélioré la précision de 24,0 points de pourcentage en moyenne par rapport aux harnais par défaut, la configuration la plus performante atteignant 60 %. Ensemble, ces résultats montrent que le raisonnement ancré est loin d'être résolu, mais qu'un harnais d'agent approprié peut libérer des gains significatifs à partir des modèles de pointe existants.

Ci-dessous, nous décrivons plus en détail les performances des agents sur OfficeQA Pro V2, la manière dont il a été construit et ses différences par rapport au benchmark OfficeQA original.

Performances des agents sur OfficeQA Pro V2

Nous avons d'abord évalué les modèles de pointe en utilisant le harnais associé de chaque fournisseur de modèles, avec Codex pour les modèles GPT et Claude Code pour les modèles Claude, en utilisant la même métrique de correspondance exacte déterministe avec une tolérance de 0,0 % que celle utilisée pour OfficeQA. Sur les cinq modèles évalués sous les deux harnais, ces configurations de référence ont atteint une précision moyenne de 26,0 %. Les performances variaient considérablement selon le modèle, et un coût plus élevé ne se traduisait pas systématiquement par une plus grande précision. Par exemple, Sonnet 5 sur Claude Code a obtenu un score de 15,6 % pour un coût de 5,01 $ par rollout, tandis que GPT-5.6 Sol sur Codex a atteint 33,3 % pour un coût comparable de 4,70 $.

L'utilisation de ces modèles au sein de Genie a permis d'obtenir des gains substantiels. Dans les comparaisons de modèles correspondants, Genie a amélioré la précision de 24,0 points de pourcentage en moyenne (une amélioration relative de 92 %). Les configurations de Genie utilisant GPT-5.6 Luna, GPT-5.6 Terra et Claude Fable 5 dominent également la frontière de Pareto coût-qualité, démontrant que ces améliorations ne nécessitent pas de sacrifier l'efficacité au profit de la précision. Dans le cas de Claude Fable 5, le passage à Genie améliore les performances de 14,4 points de pourcentage (+32 % en valeur relative) tout en réduisant le coût d'environ 9 fois. L'inspection des traces montre que Fable 5 a tendance à boucler lors de ses tentatives d'analyse de nombreux documents, ce qui entraîne de longs rollouts coûtant en moyenne 37,36 $. Genie analyse les documents à l'aide de ai_parse document, ce qui permet au modèle d'identifier efficacement les informations correctes sur chaque page, réduisant ainsi les coûts et améliorant les performances.

Bien que ces améliorations de harnais entraînent des gains substantiels, une marge de progression importante subsiste dans OfficeQA Pro V2. Les systèmes continuent de présenter des modes de défaillance similaires à ceux observés dans l'OfficeQA original : fidélité du parsing, réconciliation temporelle incorrecte au fur et à mesure de l'évolution des conventions comptables au fil du temps, et mauvaise interprétation de la portée des entités ou de la granularité des catégories.

Construire un nouveau benchmark de raisonnement ancré

Pour tester véritablement la généralisation, nous avions besoin d'un nouveau corpus qui reflète toujours les mêmes compétences pertinentes pour l'entreprise que OfficeQA était conçu pour mesurer : le parsing de documents complexes, la récupération des bonnes preuves et la réalisation d'un raisonnement analytique ancré dans ces informations.

Nous avons travaillé avec le Trésor américain pour construire le benchmark autour d'un nouveau corpus : les Comptes fédéraux des recettes et des dépenses des États-Unis (U.S. Federal Accounts of Receipts and Expenditures), que le Trésor s'apprêtait à publier sous forme de jeu de données unifié pour la première fois à l'occasion du 250e anniversaire des États-Unis. Le corpus se compose d'environ 1 400 PDF et 120 000 pages contenant des registres comptables détaillés des États-Unis, allant de 1793 à 2024.

À l'instar des Bulletins du Trésor américain (U.S. Treasury Bulletins) utilisés dans le benchmark OfficeQA original, ce nouveau corpus reflète bon nombre des défis courants dans les collections de documents d'entreprise : tableaux et graphiques denses, valeurs révisées au fil du temps, évolution des conventions de reporting et connaissances institutionnelles approfondies. Ces complexités se traduisent également par une évaluation difficile : comme pour le benchmark OfficeQA original, nous constatons que les agents de pointe de référence ont du mal à obtenir une précision constamment élevée sur OfficeQA Pro V2.

Mise à l'échelle d'OfficeQA Pro V2 avec des données synthétiques

Lorsque nous avons créé le benchmark OfficeQA original à la fin de l'année 2025, le processus était hautement manuel. Des annotateurs humains ont construit les questions et les réponses à la main tout en passant au peigne fin un corpus comprenant 89 000 pages de Bulletins du Trésor américain, ce qui a souvent nécessité de nombreux cycles de révision humaine afin de garantir la qualité des questions. Bien que cette approche ait finalement permis de produire un benchmark de haute qualité, elle était fastidieuse, coûteuse et difficile à mettre à l'échelle. Depuis lors, nous avons développé des techniques pour automatiser la création de benchmarks rigoureux de manière beaucoup plus efficace et fiable.

Pour construire OfficeQA Pro V2, nous avons exploité asynth, notre bibliothèque interne pour la création de pipelines de génération de données synthétiques. Cela nous a permis de créer rapidement et à grande échelle un benchmark diversifié et vérifiable qui reflète fidèlement les défis du raisonnement ancré, en utilisant un processus systématique de génération et de validation des questions :

1. Entrées. Pour favoriser la diversité des échantillons, le synthétiseur a été initialisé avec une période de temps sélectionnée au hasard, une méthode analytique, un nombre cible de documents sources et un sujet saillant tiré d'une liste élaborée avec notre partenaire, USAFacts, afin de refléter les questions que les analystes pourraient naturellement poser sur le corpus.
2. Synthèse. Pour chaque question candidate, un agent de synthèse a recherché dans le corpus des preuves correspondant à ces critères et a généré un échantillon soutenu par une chaîne traçable de raisonnement ancré.
3. Vérification. Ensuite, les échantillons sont passés par plusieurs étapes de contrôle de qualité afin d'auditer la fidélité des sources, la pertinence analytique, la diversité et la possibilité de réponse. Des agents de résolution indépendants ont tenté de répondre à la question à partir de zéro, produisant des trajectoires de solution alternatives, qui ont été examinées par un agent de vérification. Seuls les candidats ayant des réponses vérifiables et correctes sont passés à l'étape suivante.
4. Examen final. Comme dernière étape de contrôle de qualité, les échantillons ont été examinés manuellement aux côtés des solutions produites par d'autres modèles de pointe (frontier models). Les réviseurs ont examiné ensemble la question, la réponse, le raisonnement et les preuves citées, ne conservant que les échantillons dont l'interprétation et la vérité de terrain (ground truth) étaient sans ambiguïté correctes.

Leurs questions exigent les mêmes capacités fondamentales de raisonnement ancré mesurées par le benchmark OfficeQA original : la recherche dans plusieurs documents sources, le raisonnement analytique et des capacités spécialisées telles que la recherche web complémentaire et l'interprétation multimodale de figures. Des exemples de questions du benchmark, ainsi que des détails sur sa composition, sont présentés ci-dessous.

Exemples de questions

1. Difficulté faible : Calculer les gains du juge en chef : « Quelle est la valeur nominale totale en dollars des gains de John Jay en tant que juge en chef de la Cour suprême, selon l'Account of Receipts and Expenditures of the United States au cours du second semestre de CY 1793, et quels numéros de mandat correspondaient aux paiements ? Renvoyez votre réponse sous forme de valeurs séparées par des virgules entre crochets, dans l'ordre de la valeur de ses gains, puis des numéros de mandat dans l'ordre de l'année civile. »

Cette question nécessite de localiser une seule page de l'Account of Receipts and Expenditures de 1793 et de lire les quatre paiements par mandat enregistrés pour le juge en chef John Jay (surlignés en rouge) tout en interprétant correctement que « do. » est l'abréviation de « ditto » (idem), indiquant la même catégorie de données que la ligne précédente. La question exige ensuite de comprendre que le « second semestre de CY 1793 » limite la réponse aux seuls paiements de juillet et novembre. Enfin, la récupération des numéros de mandat correspondants et une simple somme sont nécessaires pour calculer la réponse finale.

2. Difficulté moyenne : Prévoir l'augmentation des dépenses de Medicare : « Entre FY1990 et FY1994 inclus, les dépenses de Medicare ont augmenté rapidement à mesure que le programme se développait. En ajustant une régression linéaire OLS aux chiffres des dépenses annuelles de Medicare déclarées pour ces exercices fiscaux, quelle est l'augmentation annuelle moyenne estimée en dollars des dépenses de Medicare déclarées en millions de dollars, arrondie à deux décimales ? »

Cette question nécessite de récupérer le chiffre des dépenses de Medicare dans le tableau « Outlays by Function » de cinq Combined Statements annuels distincts (FY1990–FY1994, surlignés en rouge). De plus, l'agent doit lire la valeur de chaque année dans la colonne de l'année précédente révisée la plus récente, plutôt que le premier chiffre déclaré. Enfin, l'agent doit ajuster la série avec un modèle de régression linéaire pour estimer l'augmentation annuelle moyenne.

3. Difficulté élevée : Prévoir l'augmentation des dépenses de plusieurs agences : « Pour les dépenses nettes combinées des ministères du Commerce, de l'Intérieur et de l'État, de l'Environmental Protection Agency et de la National Aeronautics and Space Administration, regroupées à partir de leurs familles de Treasury Account Symbol (TAS) constitutives telles que déclarées par le Trésor américain, ajustez la méthode standard non saisonnière Theta sur les dépenses déclarées : estimez la composante θ=0 comme une tendance linéaire OLS, construisez la série transformée θ=2, prévoyez cette composante avec un lissage exponentiel simple initialisé à sa première valeur, et choisissez α sur [0, 1], en autorisant α = 1.0. En utilisant cette prévision et en faisant la moyenne des prévisions à une étape (one-step-ahead) pour θ=0 et θ=2, quelle est la prévision pour FY1989 en millions de dollars, arrondie au centième près ? »

Cette question nécessite d'assembler une série de huit ans (FY1981–FY1988) de dépenses nettes pour cinq agences différentes (Commerce, Intérieur, État, EPA et NASA) à partir de huit Combined Statements distincts. Là encore, l'agent doit utiliser uniquement les derniers chiffres déclarés pour chaque année. La série résultante doit ensuite être utilisée pour prévoir les dépenses nettes pour FY1989, à l'aide d'une méthode de prévision spécifique.

Détails du benchmark

OfficeQA Pro V2 se compose de 90 questions, qui nécessitent toutes des preuves issues du corpus du benchmark. Dans le cadre de notre pipeline de vérification des données synthétiques, nous avons filtré les questions auxquelles il était possible de répondre uniquement à l'aide de connaissances paramétriques ou d'une recherche sur le web.

Bien que construit sur un nouveau corpus, OfficeQA Pro V2 préserve les capacités fondamentales de raisonnement ancré en entreprise mesurées par le benchmark OfficeQA original, à la fois sur l'ensemble complet de questions, OfficeQA Full, et dans son sous-ensemble de difficulté de pointe, OfficeQA Pro. 7 % des questions nécessitent une compréhension visuelle de graphiques, de diagrammes ou de figures, contre environ 3 % dans OfficeQA Pro. Un autre 10 % nécessite des informations supplémentaires obtenues par recherche web (telles que des indices d'inflation, des séries de GDP ou des chiffres de population), contre 21,8 % dans OfficeQA Pro et 15,9 % dans OfficeQA Full. Au total, environ une question sur six d'OfficeQA Pro V2 nécessite au moins l'une de ces capacités spécialisées au-delà de la recherche et de l'analyse de texte.

Par rapport à OfficeQA Pro, OfficeQA Pro V2 nécessite des preuves provenant de beaucoup plus de documents sources par question. Les questions d'OfficeQA Pro s'appuient en moyenne sur environ 2 documents du Treasury Bulletin, tandis que les questions d'OfficeQA Pro V2 nécessitent des preuves provenant de 6,7 documents sources en moyenne, avec une médiane de 5,5 et un maximum de 24. Au total, 74,4 % des questions d'OfficeQA Pro V2 nécessitent quatre sources ou plus, contre 62,4 % dans OfficeQA Pro et 56,1 % dans OfficeQA Full.

Prises ensemble, ces caractéristiques font d'OfficeQA Pro V2 un test plus exigeant du raisonnement ancré de bout en bout que le benchmark original, tout en préservant la même combinaison réaliste d'exigences analytiques, multimodales et de connaissances externes que l'on retrouve dans les flux de travail en entreprise. Pour comprendre pourquoi le benchmark reste difficile, il est utile d'examiner à quel point les documents sous-jacents et les conventions de reporting ont évolué au fil du temps.

Un corpus s'étendant sur plus de deux siècles

S'étendant sur 232 ans de rapports financiers fédéraux américains, le corpus retrace également l'évolution des structures de documents, des conventions comptables, de la terminologie et des institutions sur plus de deux siècles. Par exemple, les registres de la fin des années 1700 et du début des années 1800 enregistrent souvent des paiements à des particuliers. Ces documents comprennent souvent de larges dépliants au format paysage, une typographie archaïque comme l'utilisation du s long dans des mots tels que « Treaſury » ou « Preſident », et des conventions d'écriture historiques comme l'enregistrement de « do./ditto », qui posent de nouveaux défis pour les solutions d'analyse syntaxique (parsing) modernes.

Au milieu du XIXe siècle, les données étaient présentées sous forme de comptes en T sur deux pages et de tableaux denses et quadrillés, tandis que la période de déclaration passait de l'année civile à l'année fiscale. Le début des années 1900 a ensuite introduit de nouveaux termes financiers tels que les soldes d'ouverture et de clôture, les crédits pluriannuels et les conventions d'excédent et de déficit.

Dans les années 1980, le Combined Statement avait évolué pour devenir un rapport annuel doté d'une annexe détaillée. Les rapports sont devenus nativement numériques au début des années 2000 et ont commencé à intégrer des graphiques visuels aux côtés d'une table des matières standardisée.

OfficeQA Pro V2 s'appuie sur la complexité des Accounts of Receipts and Expenditures, créant un test de résistance particulièrement exigeant pour le raisonnement ancré. À travers le corpus, un même concept financier peut changer de nom, d'emplacement, de schéma de tableau, d'unité, de base temporelle et de niveau d'agrégation. En plus d'analyser les documents et de récupérer les valeurs, cela signifie que les agents doivent concilier les informations à travers des conventions de reporting changeantes – une complexité typique des environnements d'entreprise.

Conclusion et remerciements

Le benchmark et le corpus analysé sont désormais disponibles publiquement sur Hugging Face, et le code d'évaluation est disponible sur GitHub. Nous encourageons les chercheurs et les praticiens à évaluer leurs propres systèmes d'agents sur OfficeQA Pro V2, et recommandons son utilisation comme ensemble de test pour OfficeQA Pro. Pour les développeurs en entreprise, OfficeQA Pro V2 peut servir de banc d'essai pour concevoir des agents capables de répondre à des questions complexes sur de vastes collections de documents hétérogènes. Les équipes peuvent l'utiliser pour comparer les modèles et les architectures d'agents, identifier si les erreurs proviennent de l'analyse, de la récupération, du raisonnement ou de la vérification, et mesurer l'impact des modifications de leurs systèmes sur la précision, la latence et le coût avant d'appliquer ces approches à leurs propres données d'entreprise. Enfin, nous laissons aux lecteurs trois points clés à retenir :

1. Les évaluations représentatives sont essentielles, et les données synthétiques peuvent aider à les mettre à l'échelle. Les agents de pointe ont encore du mal à gérer les flux de travail d'entreprise de manière native, ce qui rend crucial l'évaluation des systèmes sur des tâches qui reflètent la complexité du monde réel et testent si les améliorations se généralisent à des environnements inconnus. Chez Databricks, nous combinons des techniques de données synthétiques avec notre compréhension des flux de travail des clients pour concevoir des évaluations représentatives comme OfficeQA Pro V2 de manière plus efficace et à plus grande échelle.
2. Un harnais d'agent optimisé est essentiel pour obtenir les meilleures performances. Le passage des harnais de base des fournisseurs de modèles à Databricks Genie a amélioré les performances de 24,0 points de pourcentage en moyenne (+92 % en relatif) sur l'ensemble des modèles évalués. Ces résultats démontrent que le traitement des documents, la récupération, l'utilisation des outils et les choix d'orchestration peuvent affecter considérablement la précision et l'efficacité des systèmes de raisonnement ancré.
3. Le raisonnement ancré a encore une marge de progression importante. Bien que les optimisations du harnais aient permis d'obtenir des gains substantiels par rapport aux configurations de base prêtes à l'emploi, même les systèmes les plus performants continuent de se heurter à des défis tels que l'analyse fidèle des documents, la conciliation des valeurs au fil du temps et la récupération des derniers chiffres révisés. Les progrès continus nécessiteront des innovations sur l'ensemble de la pile d'agents, de l'analyse et la récupération à l'analyse et la vérification.

Nous remercions USAFacts pour leur partenariat continu sur la suite de benchmarks OfficeQA, notamment pour nous avoir aidés à identifier le nouveau corpus, à développer des sujets et des questions d'analyse représentatifs, et à organiser la Grounded Reasoning Cup. Nous remercions également le Trésor américain pour nous avoir aidés à identifier les Accounts of Receipts and Expenditures des États-Unis comme base du benchmark de la compétition, et pour avoir publié ce jeu de données sous forme de collection cohérente pour la toute première fois.

Auteurs : Krista Opsahl-Ong, Arnav Singhvi, Josh Joseph, Jasmine Collins, Ivan Zhou, Shubham Toshniwal, Michael Bendersky, Erich Elsen, Xing Chen, Matei Zaharia

Si vous souhaitez en savoir plus et commencer à utiliser OfficeQA Pro V2, découvrez le benchmark sur Hugging Face.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original