Évaluation d'agents AI en direct lors de la Grounded Reasoning Cup

Cette année, Databricks a organisé la première édition de la Grounded Reasoning Cup, une compétition d'IA en direct unique en son genre visant à évaluer la capacité des agents d'IA à raisonner sur des collections de documents complexes de type entreprise. En testant les agents sur un corpus nouvellement publié dans des conditions de compétition en direct, la Grounded Reasoning Cup a été conçue pour aider à répondre à l'une des questions les plus difficiles de l'évaluation de l'IA : dans quelle mesure les améliorations de performance sur un benchmark se généralisent-elles à des tâches similaires du monde réel ?

La compétition a réuni 11 des meilleures équipes académiques des États-Unis et du Canada, associées à des ressources et au mentorat de laboratoires de pointe, notamment OpenAI, Anthropic et Google DeepMind. Sur une période de deux mois, les équipes ont développé et optimisé leurs agents sur OfficeQA, notre benchmark de référence en matière de raisonnement ancré conçu pour refléter des flux de travail d'entreprise à forte valeur économique. Le jour de la compétition, elles ont dû appliquer ces systèmes en temps réel à un benchmark de raisonnement ancré nouvellement publié, OfficeQA Pro V2, conçu pour tester si leurs améliorations se généralisaient.

Stanford a remporté la victoire avec un système qui a atteint une précision de 63,3 %, devançant l'équipe moyenne d'environ +22 points, et la référence hors ligne moyenne des agents de pointe d'environ +35 points. Les meilleures équipes ont démontré des gains substantiels grâce au prétraitement des documents, à la recherche ciblée, aux agents parallèles, à l'utilisation d'outils structurés et à la vérification. En même temps, 18,8 % des questions sont restées sans réponse pour l'ensemble des équipes, ce qui souligne la marge de progression importante qui subsiste dans le raisonnement ancré en entreprise.

Dans cet article de blog, nous revenons sur la compétition et présentons les stratégies d'optimisation des agents ainsi que les enseignements des équipes gagnantes de la Grounded Reasoning Cup : Stanford, l'Université du Massachusetts à Amherst et Yale.

De manière générale, nous constatons ce qui suit :

• La généralisation nécessite des évaluations représentatives et indépendantes (held-out). Les techniques développées sur OfficeQA ne se sont pas toujours transposées de manière fiable à notre nouveau benchmark. Cela souligne l'importance d'utiliser des ensembles de test indépendants comme OfficeQA Pro V2 pour s'assurer que les solutions se généralisent à de nouveaux exemples.
• La performance de l'agent dépend de l'ensemble du système, et pas seulement du modèle. L'écart moyen entre les équipes ayant obtenu les scores les plus élevés et les plus bas avec le même modèle était de 30,4 points. L'analyse syntaxique (parsing), la recherche (retrieval), l'utilisation d'outils, la vérification, le parallélisme et l'infrastructure opérationnelle ont fait toute la différence dans la capacité des agents à accomplir avec succès des tâches de raisonnement ancré de bout en bout.
• Le raisonnement ancré en entreprise est encore loin d'être résolu. Même les équipes gagnantes ont éprouvé des difficultés face aux nombreuses exigences du benchmark en matière de recherche, d'analyse syntaxique et d'analyse de données, ce qui laisse une marge importante pour la recherche et l'amélioration continues. Nous encourageons les professionnels à utiliser la suite de benchmarks OfficeQA disponible publiquement pour continuer à faire progresser ces travaux.

L'organisation de la compétition

L'objectif de la Grounded Reasoning Cup était de réunir les meilleures équipes académiques afin de développer des approches généralisables du raisonnement ancré, une tâche courante en entreprise qui consiste à répondre à des questions complexes en s'appuyant sur des preuves issues de vastes collections de documents, souvent propriétaires.

Des équipes de 2 à 4 personnes représentant leur établissement universitaire ont été associées à un partenaire industriel d'OpenAI, d'Anthropic ou de Google DeepMind, qui leur a fourni un accès à ses modèles et un mentorat tout au long de la période de développement. Les équipes disposaient d'environ deux mois pour concevoir un agent en utilisant les approches de leur choix, avec pour seule contrainte d'utiliser exclusivement la famille de modèles de leur laboratoire partenaire pour faire fonctionner leur agent. Durant cette période, elles ont utilisé le benchmark OfficeQA pour évaluer de nouvelles techniques censées se généraliser à des tâches de raisonnement ancré similaires.

Le jour de la compétition, les équipes ont ensuite été chargées d'appliquer leurs agents en temps réel sur un nouveau benchmark fraîchement publié. La compétition était régie par les règles suivantes :

• Publication du benchmark : Le nouveau corpus (les comptes de recettes et de dépenses du Trésor américain) a été publié seulement 36 heures avant la compétition. Cela a laissé aux équipes le temps de traiter et d'indexer les données tout en limitant le risque de surapprentissage (overfitting) des méthodes sur le nouveau benchmark.
• Contraintes de conception : Les équipes pouvaient utiliser n'importe quel framework d'agent, version(s) de corpus, stratégie de recherche, configuration d'utilisation d'outils ou flux de travail avec intervention humaine (human-in-the-loop), à condition d'utiliser les modèles de leur laboratoire partenaire industriel attribué.
• Format : La compétition comprenait six manches de 15 minutes, avec 15 questions par manche. La difficulté des manches augmentait progressivement tout au long de l'événement.
• Attribution des points : Les équipes recevaient 1 point pour chaque bonne réponse. Pour encourager une faible latence, elles bénéficiaient également d'un bonus de rapidité de 0,25 point si elles étaient les premières à répondre correctement à une question donnée. Les points comptaient double lors de la manche finale, qui comportait les questions les plus difficiles. Chaque équipe était également autorisée à soumettre à nouveau 3 réponses au cours de la compétition, qu'elle pouvait choisir d'appliquer pour corriger une réponse précédente.

Performances des équipes et enseignements

La compétition a mis en évidence une chose : le raisonnement ancré sur des corpus de documents d'entreprise s'est amélioré depuis la publication du benchmark OfficeQA il y a 7 mois, mais il est encore loin d'être résolu. Le score moyen des équipes était d'environ 41 %, tandis que les trois meilleures équipes ont dépassé les 50 % de précision, l'équipe de Stanford remportant la compétition avec 63,3 % de précision. Ces résultats témoignent du travail impressionnant des meilleures équipes, tout en montrant qu'il reste encore une grande marge de progression à explorer.

Stratégies des équipes gagnantes

Bien que chacune ait adopté une approche unique, plusieurs tendances se sont dégagées parmi les agents conçus par les trois meilleures équipes. Les systèmes les plus performants avaient tendance à combiner un prétraitement minutieux des documents, une recherche ciblée, l'utilisation d'outils structurés et des étapes de vérification des réponses. Dans de nombreux cas, la performance dépendait moins d'un simple appel de modèle que du système global : la manière dont les documents étaient analysés, dont les preuves étaient récupérées, dont les calculs intermédiaires étaient effectués et dont les réponses étaient vérifiées avant soumission. Bien que ces qualités soient généralement communes aux systèmes les plus performants, chacun d'eux a également mis en œuvre des stratégies distinctes et créatives, comme décrit ci-dessous.

1re place : Université de Stanford

L'approche gagnante de l'équipe de Stanford a consisté à transformer les modes de défaillance courants du raisonnement ancré en procédures opérationnelles réutilisables, afin que leur agent Claude Code sous Claude Opus 4.8 puisse en tirer des enseignements et les appliquer aux questions de la compétition. Lors de leur phase de développement sur le benchmark public OfficeQA, incluant des expériences d'ablation avec Opus 4.8 et même Fable 5 (lorsqu'il était disponible), l'équipe a systématiquement remonté la source des mauvaises réponses jusqu'à l'erreur exacte de l'agent, pour ensuite transformer ces schémas en compétences de localisation de tableaux, de formatage des réponses, de clarification de formulations financières courantes, etc. L'équipe a également intégré des compétences permettant de décider quand effectuer une recherche dans le texte du corpus analysé et les représentations de documents au format markdown, et quand revenir aux PDF sources si le texte analysé manquait de contexte. Le jour de la compétition, Stanford avait préparé son agent avec un guide pratique (playbook) de plus de 100 compétences. Ils ont devancé toutes les équipes en termes de précision, avec 57 réponses correctes sur les 88 tentatives effectuées.

Malgré cette préparation approfondie, Stanford a tout de même dû adapter sa stratégie pendant la compétition. Lors des trois premiers rounds, l'équipe a utilisé un autre agent Claude Code comme vérificateur pour ré-extraire les valeurs intermédiaires, vérifier les modes de défaillance courants tels que le suivi des valeurs révisées via le lignage des données (data lineage) et la gestion de la mise à l'échelle des unités, et corriger les calculs lorsqu'elle identifiait des écarts. Mais après n'avoir obtenu que deux bonus de rapidité lors de ces rounds, Stanford a supprimé l'étape de vérification supplémentaire pour les trois derniers. Ce changement a considérablement réduit la latence, aidant l'équipe à obtenir des bonus de rapidité sur 14 questions et à alimenter son retour en force. Le vérificateur s'est néanmoins révélé décisif lors du dernier round, lorsque Stanford l'a réactivé pour corriger une réponse lors d'une ultime soumission, assurant ainsi sa victoire.

2e place : UMass Amherst

L'équipe de l'UMass a fait le pari de la rapidité. Ils ont utilisé Claude Opus 4.8 Fast comme modèle principal et ont prétraité le corpus pour créer un catalogue de métadonnées permettant une recherche et un filtrage rapides sur les documents analysés. Pour améliorer la qualité des réponses tout en maintenant une faible latence, ils ont exécuté trois agents en parallèle sur chaque question, suivis d'un appel de vérification final d'Opus pour sélectionner la meilleure réponse.

Cette stratégie a permis à l'UMass d'obtenir le temps de soumission moyen le plus rapide pour les réponses correctes : quatre minutes, soit moins de la moitié de la moyenne générale des équipes (huit minutes et 30 secondes). En conséquence, ils ont obtenu 36 bonus de rapidité, d'une valeur de 0,25 point chacun, pour avoir été la première équipe à répondre correctement, soit plus du double du total de Stanford (16), classée deuxième. Ces bonus leur ont permis de prendre une avance de 10,25 points sur Stanford à la mi-temps et de conserver un avantage de 3,75 points à l'entame du dernier round. L'UMass a conservé cette avance jusqu'aux 56 dernières secondes de la compétition, moment où l'agent de Stanford, plus lent mais plus précis, s'est révélé décisif sur les questions les plus difficiles et a pris l'avantage pour l'emporter de 1,75 point.

L'approche de l'UMass démontre comment des modèles plus rapides, le prétraitement des documents et la mise à l'échelle au moment du test (test-time scaling) peuvent fonctionner ensemble pour obtenir une latence très faible sans trop sacrifier la précision.

3e place : Yale University

L'équipe de Yale a conçu un banc d'essai de vérification multi-bras (multi-arm) conçu pour rester robuste en cas de défaillance d'un agent individuel. Le système exécutait quatre bras indépendants en parallèle, couvrant deux stratégies d'agents. Deux bras utilisaient des agents ReAct autonomes : l'un alimenté par Gemini 3.1 Pro et l'autre par Gemini 3.5 Flash. Les bras restants utilisaient un pipeline planificateur-vérificateur plus structuré, Gemini 3.1 Pro alimentant tous les appels LLM. Dans ce pipeline, le planificateur inspectait et contextualisait les documents sources, assemblant un bloc-notes (scratchpad) contenant les preuves nécessaires pour répondre à la question. Le vérificateur contrôlait ensuite les sources citées et effectuait les calculs finaux.

Un méta-vérificateur Gemini 3.1 Pro examinait les réponses et le raisonnement produits par les quatre bras et sélectionnait la réponse finale. Pour réduire le risque d'introduire une nouvelle réponse non étayée, le méta-vérificateur ne pouvait sélectionner qu'une réponse proposée par l'un des bras existants. Lorsqu'il ne pouvait pas le faire, le système se rabattait sur un vote à la majorité. En combinant des architectures d'agents distinctes avec des modes de défaillance indépendants et partiellement décorrélés, Yale a mis l'accent sur une vérification cohérente et ancrée (grounded). Cette approche a permis à l'équipe de décrocher la troisième place, avec 49 réponses correctes sur 90 questions et un classement dans le top 3 de la précision lors de quatre des six rounds de la compétition.

Résumé des stratégies des équipes gagnantes

L'un des principaux enseignements de ces approches gagnantes est que pour appliquer avec succès un agent à des tâches de raisonnement ancré (grounded reasoning) de bout en bout, il faut une réflexion systémique globale, plutôt que le simple choix du modèle. Parmi les approches gagnantes, quelques leviers de conception clés se sont révélés particulièrement importants :

• Qualité de l'analyse syntaxique (parsing) : Les meilleures équipes ont utilisé des documents pré-analysés et ont souvent enrichi ces représentations pour y inclure des métadonnées supplémentaires (par exemple, des descriptions de graphiques ou des métadonnées au niveau de la page) et ont conservé les chemins d'accès aux PDF sources pour s'y rabattre lorsque le texte analysé était incomplet. Dans nos propres études sur OfficeQA Pro V2, nous constatons que la pré-analyse des documents avec ai_parse contribue de manière significative à l'amélioration des performances de Genie de 24,0 points par rapport aux agents frontières de référence.
• Qualité de la recherche (retrieval) : Les systèmes performants ne se sont pas appuyés sur une recherche générique de fragments (chunks) top-k. Ils ont plutôt utilisé une forme de recherche lexicale (par exemple, grep), souvent associée à une recherche dense pour une approche hybride.
• Utilisation des outils : Les agents performants ont généralement délégué la recherche, l'inspection des documents, les calculs, la comparaison et la soumission à des outils spécialisés.
• Stratégies de vérification : Plusieurs équipes ont intégré une forme de contrôle de vérification explicite via un agent de vérification ou un appel LLM pour améliorer la qualité des réponses.
• Banc d'essai robuste : Sous la pression des délais en direct, des détails opérationnels tels que le prétraitement, la logique de tentative (retry), le parallélisme et l'infrastructure de soumission (scaffolding) étaient nécessaires pour garantir que les réponses correctes soient effectivement transmises à temps.

Ces facteurs ont déterminé si le modèle pouvait trouver de manière fiable les bonnes preuves, effectuer le bon calcul et soumettre la bonne réponse sous la pression du temps.

Impact et prochaines étapes

En résumé, les résultats de la Grounded Reasoning Cup apportent plusieurs enseignements plus larges :

• La généralisation doit être testée, et non présumée. Les améliorations apportées à OfficeQA ne se sont pas toujours transposées à OfficeQA Pro V2, et les agents frontières ont tout de même répondu correctement à moins de la moitié de ses questions en moyenne. Les progrès réalisés sur un benchmark familier ne se traduisent pas nécessairement par un nouveau corpus ou une nouvelle distribution de tâches.
• Des évaluations représentatives et sur des données exclues (held-out) sont cruciales. Elles doivent évaluer les formes de généralisation qui importent, idéalement en gardant fixes les qualités fondamentales de la tâche (c'est-à-dire le raisonnement ancré sur des documents), tout en faisant varier les éléments de la tâche qui peuvent changer, comme le corpus. Dans notre article décrivant OfficeQA Pro V2, nous expliquons comment nous exploitons les données synthétiques, combinées à notre connaissance des flux de travail des clients, pour mettre à l'échelle rapidement ces évaluations représentatives.
• Les performances de l'agent dépendent de l'ensemble du système. Les performances dépendent non seulement du modèle, mais aussi de l'analyse syntaxique (parsing), de la recherche (retrieval), de l'utilisation des outils, de la vérification, ainsi que de la qualité des données et de l'infrastructure sous-jacentes. Les équipes gagnantes ont optimisé ces composants de manière globale. De même, Genie surpasse considérablement les agents frontières de référence lorsqu'il utilise des outils comme ai_parse pour pré-analyser les documents, ainsi que d'autres stratégies d'optimisation du banc d'essai.

Nous remercions toutes les équipes et les sponsors du secteur, notamment OpenAI, Google DeepMind et Anthropic, qui ont participé à la première édition de la Grounded Reasoning Cup de Databricks et ont contribué à faire progresser le domaine. Nous remercions également USAFacts pour leur partenariat continu, qu'il s'agisse de nous aider à identifier un nouveau corpus et à créer des questions pertinentes pour OfficeQA Pro V2, ou de s'associer à nous pour la compétition elle-même. Enfin, nous remercions le Trésor américain (U.S. Treasury) pour avoir aidé à identifier les comptes de recettes et de dépenses des États-Unis (U.S. Accounts of Receipts and Expenditures) comme base du benchmark de la compétition, et pour avoir publié ce jeu de données sous forme de collection cohérente pour la toute première fois.

Auteurs : Krista Opsahl-Ong, Arnav Singhvi, Josh Joseph, Jasmine Collins, Ivan Zhou, Brooke Wenig, Denny Lee, Michael Bendersky, Erich Elsen, Xing Chen, Matei Zaharia

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original