Evaluación de agentes de IA en vivo en la Grounded Reasoning Cup

Este año, Databricks organizó la edición inaugural de la Grounded Reasoning Cup, una competencia de AI en vivo pionera en su tipo para evaluar la capacidad de los agentes de AI para razonar sobre colecciones de documentos complejas de estilo empresarial. Al evaluar a los agentes en un corpus recientemente publicado bajo condiciones de competencia en vivo, la Grounded Reasoning Cup se diseñó para ayudar a responder una de las preguntas más difíciles en la evaluación de AI: ¿qué tan bien se generalizan las mejoras de rendimiento en un benchmark a tareas similares del mundo real?

La competencia reunió a 11 de los mejores equipos académicos de U.S. y Canadá, quienes contaron con recursos y mentoría de laboratorios de vanguardia como OpenAI, Anthropic y Google DeepMind. A lo largo de dos meses, los equipos desarrollaron y optimizaron sus agentes en OfficeQA, nuestro benchmark insignia de razonamiento fundamentado diseñado para reflejar flujos de trabajo empresariales de gran valor económico. El día de la competencia, se enfrentaron al desafío de aplicar esos sistemas en tiempo real a un benchmark de razonamiento fundamentado recientemente publicado, OfficeQA Pro V2, diseñado para probar si sus mejoras se generalizaban.

Stanford ganó con un sistema que alcanzó un 63.3% de precisión, superando al equipo promedio por aproximadamente +22 puntos, y a la línea base (baseline) offline del agente de vanguardia promedio por aproximadamente +35 puntos. Los mejores equipos demostraron mejoras sustanciales mediante el preprocesamiento de documentos, la recuperación dirigida (targeted retrieval), agentes paralelos, el uso de herramientas estructuradas y la verificación. Al mismo tiempo, el 18.8% de las preguntas quedaron sin resolver por parte de todos los equipos, lo que subraya cuánto margen de mejora queda en el razonamiento fundamentado empresarial.

En esta publicación de blog, resumimos la competencia y analizamos las estrategias de optimización de agentes y las perspectivas de los equipos ganadores de la Grounded Reasoning Cup: Stanford, la Universidad de Massachusetts Amherst y Yale.

En general, encontramos lo siguiente:

• La generalización requiere evaluaciones representativas y reservadas (held-out). Las técnicas desarrolladas en OfficeQA no siempre se transfirieron de manera confiable a nuestro nuevo benchmark. Esto destaca la importancia de utilizar conjuntos de prueba reservados (held-out test sets) como OfficeQA Pro V2 para garantizar que las soluciones se generalicen a nuevos ejemplos.
• El rendimiento del agente depende de todo el sistema, no solo del modelo. La diferencia promedio entre los equipos con mayor y menor puntuación que usaron el mismo modelo fue de 30.4 puntos. El análisis sintáctico (parsing), la recuperación (retrieval), el uso de herramientas, la verificación, el paralelismo y la infraestructura operativa marcaron la diferencia en si los agentes podían completar con éxito tareas de razonamiento fundamentado de extremo a extremo (end-to-end).
• El razonamiento fundamentado empresarial aún está lejos de resolverse. Incluso los equipos ganadores tuvieron dificultades con muchas de las exigencias analíticas, de recuperación y de análisis sintáctico (parsing) del benchmark, lo que deja un margen sustancial para continuar con la investigación y la mejora. Animamos a los profesionales a utilizar la suite de benchmarks OfficeQA disponible públicamente para seguir avanzando en este trabajo.

Configuración de la competencia

El objetivo de la Grounded Reasoning Cup era reunir a los mejores equipos académicos para desarrollar enfoques generalizables para el razonamiento fundamentado, una tarea común en entornos empresariales que implica responder preguntas complejas utilizando evidencia de colecciones de documentos grandes y, a menudo, patentadas.

Equipos de 2 a 4 personas en representación de su institución académica se asociaron con un socio de la industria de OpenAI, Anthropic o Google DeepMind, quien les brindó acceso a sus modelos y mentoría durante todo el período de desarrollo. Los equipos tuvieron aproximadamente dos meses para construir un agente utilizando los enfoques que consideraran adecuados, con la única restricción de que debían usar exclusivamente la familia de modelos de su laboratorio asociado para potenciar su agente. Durante este período, utilizaron el benchmark OfficeQA para evaluar nuevas técnicas que creían que se generalizarían a tareas de razonamiento fundamentado similares.

El día de la competencia, los equipos tuvieron la tarea de aplicar sus agentes en tiempo real en un benchmark nuevo y recién publicado. La competencia se rigió por las siguientes reglas:

• Publicación del benchmark: El nuevo corpus (las Cuentas de Ingresos y Gastos del Tesoro de los U.S.) se publicó solo 36 horas antes de la competencia. Esto dio tiempo a los equipos para procesar e indexar los datos, al tiempo que limitó la oportunidad de que los métodos se sobreajustaran (overfit) al nuevo benchmark.
• Restricciones de diseño: Los equipos podían usar cualquier framework de agentes, versiones del corpus, estrategia de recuperación, configuración de uso de herramientas o flujo de trabajo con intervención humana (human-in-the-loop), siempre que utilizaran modelos de su laboratorio asociado de la industria.
• Formato: La competencia constó de seis rondas de 15 minutos con 15 preguntas por ronda. Las rondas se volvieron progresivamente más difíciles a lo largo del evento.
• Puntuación: Los equipos recibieron 1 punto por cada respuesta correcta. Para incentivar una baja latencia, también se les otorgó un bono de velocidad de 0.25 puntos si eran los primeros en responder correctamente a una pregunta determinada. Los puntos valían el doble (2x) en la ronda final, que consistía en las preguntas más desafiantes. A cada equipo también se le permitieron 3 reenvíos a lo largo de la competencia, que podían elegir aplicar para corregir una respuesta anterior.

Rendimiento del equipo y aprendizajes

La competencia dejó clara una cosa: el razonamiento fundamentado sobre corpus de documentos de estilo empresarial ha mejorado desde que lanzamos el benchmark OfficeQA hace 7 meses, pero aún está lejos de resolverse. La puntuación promedio de los equipos fue de ~41%, mientras que los tres mejores equipos superaron el 50% de precisión, y el equipo de Stanford ganó la competencia con un 63.3% de precisión. Estos resultados apuntan a un trabajo impresionante por parte de los mejores equipos, así como a un gran margen de mejora por explorar.

Estrategias de los equipos ganadores

Aunque cada uno adoptó un enfoque único, surgieron varios patrones entre los agentes creados por los tres mejores equipos. Los sistemas sólidos tendieron a combinar un preprocesamiento cuidadoso de los documentos, una recuperación dirigida (targeted retrieval), el uso de herramientas estructuradas y pasos de verificación de respuestas. En muchos casos, el rendimiento dependió menos de una sola llamada al modelo y más del sistema circundante: cómo se analizaron sintácticamente (parsed) los documentos, cómo se recuperó la evidencia, cómo se realizaron los cálculos intermedios y cómo se verificaron las respuestas antes del envío. Si bien estas eran cualidades que los sistemas más eficientes generalmente tenían en común, cada uno de ellos también empleó estrategias distintas y creativas, como se describe a continuación.

1.º puesto: Stanford University

El enfoque ganador del equipo de Stanford consistió en convertir los modos de falla comunes del razonamiento fundamentado en procedimientos operativos reutilizables para que su agente Claude Code con Claude Opus 4.8 aprendiera de ellos y los aplicara en las preguntas de la competencia. Durante su desarrollo en el benchmark público OfficeQA, que incluyó experimentos de ablación con Opus 4.8 e incluso Fable 5 (mientras estuvo disponible), el equipo rastreó repetidamente las respuestas incorrectas hasta el paso en falso exacto del agente, y luego convirtió esos patrones en habilidades para la localización de tablas, el formato de respuestas, aclaraciones sobre redacciones financieras comunes, etc. El equipo también integró habilidades que decidirían cuándo buscar en el texto del corpus analizado sintácticamente (parsed) y en las representaciones de documentos de estilo markdown, y cuándo recurrir a los PDF de origen si el texto analizado carecía de un contexto completo. Para el día de la competencia, Stanford había preparado a su agente con un manual de estrategias (playbook) de más de 100 habilidades. Lideraron a todos los equipos en precisión, con 57 respuestas correctas de las 88 que intentaron.

A pesar de esta preparación exhaustiva, Stanford tuvo que adaptar su estrategia durante la competencia. En las tres primeras rondas, el equipo utilizó otro agente de Claude Code como verificador para volver a extraer valores intermedios, comprobar modos de fallo comunes (como el seguimiento de valores revisados a través del linaje de datos y el escalado de unidades) y corregir cálculos al identificar discrepancias. Sin embargo, tras obtener solo dos bonificaciones por velocidad en esas rondas, Stanford eliminó el paso de verificación adicional para las tres últimas. Este cambio redujo significativamente la latencia, lo que ayudó al equipo a ganar bonificaciones por velocidad en 14 preguntas e impulsó su remontada. No obstante, el verificador resultó decisivo en la ronda final, cuando Stanford lo volvió a activar para corregir una respuesta mediante un envío final, lo que en última instancia les aseguró la victoria.

2.º puesto: UMass Amherst

El equipo de UMass apostó por la velocidad. Utilizaron Claude Opus 4.8 Fast como su modelo principal y preprocesaron el corpus para crear un catálogo de metadatos que permitiera realizar búsquedas y filtrados rápidos en los documentos analizados. Para mejorar la calidad de las respuestas manteniendo una latencia baja, ejecutaron tres agentes en paralelo para cada pregunta, seguidos de una llamada de verificación final de Opus para seleccionar la mejor respuesta.

Esta estrategia le dio a UMass el tiempo promedio de envío más rápido para respuestas correctas: cuatro minutos, menos de la mitad del promedio general de los equipos, que fue de ocho minutos y 30 segundos. Como resultado, obtuvieron 36 bonificaciones por velocidad (de 0.25 puntos cada una) por ser el primer equipo en responder correctamente, más del doble del total de 16 de Stanford en el segundo lugar. Estas bonificaciones les ayudaron a lograr una ventaja de 10.25 puntos sobre Stanford a mitad del tiempo y a mantener una diferencia de 3.75 puntos al entrar en la ronda final. UMass conservó esa ventaja hasta los últimos 56 segundos de la competencia, cuando el agente de Stanford, más lento pero más preciso, resultó decisivo en las preguntas más difíciles y se adelantó para ganar por 1.75 puntos.

El enfoque de UMass demuestra cómo los modelos más rápidos, el preprocesamiento de documentos y el escalado en tiempo de prueba (test-time scaling) pueden funcionar en conjunto para lograr una latencia muy baja sin sacrificar demasiada precisión.

3.er puesto: Yale University

El equipo de Yale desarrolló un entorno de verificación de múltiples brazos (multi-arm) diseñado para mantener la robustez en caso de que fallara algún agente individual. El sistema ejecutaba cuatro brazos independientes en paralelo, que abarcaban dos estrategias de agentes. Dos brazos utilizaban agentes autónomos ReAct: uno impulsado por Gemini 3.1 Pro y el otro por Gemini 3.5 Flash. Los brazos restantes utilizaban un flujo de trabajo (pipeline) de planificador-verificador más estructurado, con Gemini 3.1 Pro gestionando todas las llamadas de LLM. En este pipeline, el planificador inspeccionaba y contextualizaba los documentos de origen, creando un bloc de notas (scratchpad) con las pruebas necesarias para responder a la pregunta. Luego, el verificador comprobaba las fuentes citadas y realizaba los cálculos finales.

Un metaverificador Gemini 3.1 Pro revisaba las respuestas y el razonamiento producidos por los cuatro brazos y seleccionaba la respuesta final. Para reducir el riesgo de introducir una nueva respuesta sin sustento, el metaverificador solo podía seleccionar una respuesta propuesta por uno de los brazos existentes. Cuando no podía hacerlo, el sistema recurría a una votación por mayoría. Al combinar distintas arquitecturas de agentes con modos de fallo independientes y parcialmente descorrelacionados, Yale priorizó una verificación sólida y fundamentada. Este enfoque le valió al equipo el tercer puesto, con 49 de 90 preguntas respondidas correctamente y una clasificación de precisión entre los tres primeros en cuatro de las seis rondas de la competencia.

Resumen de las estrategias de los equipos ganadores

Una de las principales conclusiones de estos enfoques ganadores es que aplicar con éxito un agente a tareas de razonamiento fundamentado (grounded reasoning) de extremo a extremo requiere un pensamiento sistémico holístico, en lugar de centrarse únicamente en la elección del modelo. En todos los enfoques ganadores, destacaron algunos factores clave de diseño como especialmente importantes:

• Calidad de análisis (parsing): Los mejores equipos utilizaron documentos preanalizados y, a menudo, aumentaron estas representaciones analizadas para incluir metadatos adicionales (por ejemplo, descripciones de gráficos o metadatos a nivel de página) y conservaron las rutas de acceso a los PDF de origen para recurrir a ellos cuando el texto analizado estaba incompleto. En nuestros propios estudios sobre OfficeQA Pro V2, descubrimos que preanalizar documentos con ai_parse contribuye significativamente a la mejora del rendimiento de Genie de 24.0 puntos con respecto a los agentes de frontera de referencia (baseline).
• Calidad de recuperación (retrieval): Los sistemas sólidos no dependían de una búsqueda genérica de fragmentos (chunks) top-k. En su lugar, utilizaron alguna forma de recuperación léxica (por ejemplo, grep), a menudo combinada con recuperación densa para obtener un enfoque híbrido.
• Uso de herramientas: Los agentes exitosos generalmente delegaron la búsqueda, la inspección de documentos, los cálculos, la comparación y el envío a herramientas especializadas.
• Estrategias de verificación: Varios equipos incorporaron alguna forma de comprobación de verificación explícita a través de un agente de verificación o una llamada de LLM para mejorar la calidad de las respuestas.
• Entorno (harness) robusto: Bajo la presión de los plazos de entrega en vivo, los detalles operativos como el preprocesamiento, la lógica de reintento, el paralelismo y la estructura de envío (scaffolding) fueron necesarios para garantizar que las respuestas correctas realmente se entregaran a tiempo.

Estos factores determinaron si el modelo podía encontrar de manera confiable las pruebas adecuadas, realizar el cálculo correcto y enviar la respuesta acertada bajo la presión del tiempo límite.

Impacto y próximos pasos

En resumen, los resultados de la Grounded Reasoning Cup demuestran una serie de lecciones más amplias:

• La generalización debe probarse, no asumirse. Las mejoras en OfficeQA no siempre se trasladaron a OfficeQA Pro V2, y los agentes de frontera siguieron respondiendo correctamente a menos de la mitad de sus preguntas en promedio. El progreso en un punto de referencia (benchmark) familiar no se traduce necesariamente en un nuevo corpus o distribución de tareas.
• Las evaluaciones representativas y con datos reservados (held-out) son fundamentales. Deben evaluar las formas de generalización que importan, idealmente manteniendo fijas las cualidades principales de la tarea (es decir, el razonamiento fundamentado sobre documentos), mientras se varían los elementos de la tarea que pueden cambiar, como el corpus. En nuestra publicación que describe OfficeQA Pro V2, analizamos cómo aprovechamos los datos sintéticos, combinados con nuestro conocimiento de los flujos de trabajo de los clientes, para escalar rápidamente estas evaluaciones representativas.
• El rendimiento del agente depende de todo el sistema. El rendimiento no depende solo del modelo, sino también del análisis (parsing), la recuperación (retrieval), el uso de herramientas, la verificación y la calidad de los datos y la infraestructura subyacentes. Los equipos ganadores optimizaron estos componentes de manera holística. Del mismo modo, Genie supera significativamente a los agentes de frontera de referencia cuando utiliza herramientas como ai_parse para preanalizar documentos, además de otras estrategias de optimización del entorno (harness).

Agradecemos a todos los equipos y patrocinadores de la industria, incluidos OpenAI, Google DeepMind y Anthropic, que participaron en la edición inaugural de la Grounded Reasoning Cup de Databricks y ayudaron a impulsar este campo. También agradecemos a USAFacts por su continua colaboración, desde ayudarnos a identificar un nuevo corpus y crear preguntas relevantes para OfficeQA Pro V2, hasta asociarse con nosotros en la competencia misma. Por último, agradecemos al Tesoro de los EE. UU. por ayudar a identificar las Cuentas de Ingresos y Gastos de los EE. UU. (U.S. Accounts of Receipts and Expenditures) como base para el punto de referencia de la competencia, y por publicar el conjunto de datos como una colección cohesiva por primera vez.

Autores: Krista Opsahl-Ong, Arnav Singhvi, Josh Joseph, Jasmine Collins, Ivan Zhou, Brooke Wenig, Denny Lee, Michael Bendersky, Erich Elsen, Xing Chen, Matei Zaharia

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original