Valutazione live di agenti AI alla Grounded Reasoning Cup

Quest'anno, Databricks ha ospitato l'inaugurale Grounded Reasoning Cup, una competizione AI dal vivo unica nel suo genere per valutare la capacità degli agenti AI di ragionare su raccolte di documenti complesse di tipo aziendale. Testando gli agenti su un corpus appena rilasciato in condizioni di competizione dal vivo, la Grounded Reasoning Cup è stata progettata per aiutare a rispondere a una delle domande più difficili nella valutazione dell'AI: in che misura i miglioramenti delle prestazioni su un benchmark si generalizzano a compiti simili nel mondo reale?

La competizione ha riunito 11 tra i migliori team accademici provenienti da tutti gli U.S. e dal Canada, affiancati da risorse e mentorship di laboratori di frontiera tra cui OpenAI, Anthropic e Google DeepMind. Nel corso di due mesi, i team hanno sviluppato e ottimizzato i loro agenti su OfficeQA, il nostro benchmark di riferimento per il grounded reasoning progettato per riflettere flussi di lavoro aziendali di valore economico. Il giorno della competizione, sono stati sfidati ad applicare tali sistemi in tempo reale a un benchmark di grounded reasoning appena rilasciato, OfficeQA Pro V2, progettato per testare se i loro miglioramenti si generalizzassero.

Stanford ha vinto con un sistema che ha raggiunto un'accuratezza del 63,3%, superando la media dei team di circa +22 punti e il baseline offline dell'agente di frontiera medio di circa +35 punti. I migliori team hanno dimostrato miglioramenti sostanziali attraverso la pre-elaborazione dei documenti, il recupero (retrieval) mirato, agenti paralleli, l'uso strutturato di strumenti e la verifica. Allo stesso tempo, il 18,8% delle domande è rimasto irrisolto da tutti i team, sottolineando quanto margine di miglioramento rimanga nel grounded reasoning aziendale.

In questo post del blog, ricapitoliamo la competizione e discutiamo le strategie di ottimizzazione degli agenti e gli approfondimenti dei team vincenti della Grounded Reasoning Cup: Stanford, University of Massachusetts Amherst e Yale.

In generale, abbiamo riscontrato quanto segue:

• La generalizzazione richiede valutazioni rappresentative e held-out. Le tecniche sviluppate su OfficeQA non si sono sempre trasferite in modo affidabile al nostro nuovo benchmark. Ciò sottolinea l'importanza di utilizzare set di test held-out come OfficeQA Pro V2 per garantire che le soluzioni si generalizzino a nuovi esempi.
• Le prestazioni dell'agente dipendono dall'intero sistema, non solo dal modello. Il divario medio tra i team con il punteggio più alto e quello più basso che utilizzavano lo stesso modello è stato di 30,4 punti. Parsing, recupero (retrieval), uso di strumenti, verifica, parallelismo e infrastruttura operativa hanno fatto la differenza nel consentire agli agenti di completare con successo compiti di grounded reasoning end-to-end.
• Il grounded reasoning aziendale rimane ben lontano dall'essere risolto. Persino i team vincenti hanno riscontrato difficoltà con molte delle richieste di recupero, parsing e analisi del benchmark, lasciando un ampio margine per la ricerca continua e il miglioramento. Incoraggiamo i professionisti a utilizzare la suite di benchmark OfficeQA disponibile pubblicamente per continuare a far progredire questo lavoro.

La configurazione della competizione

L'obiettivo della Grounded Reasoning Cup era riunire i migliori team accademici per sviluppare approcci generalizzabili al grounded reasoning, un compito comune in contesti aziendali che comporta la risposta a domande complesse utilizzando prove provenienti da ampie raccolte di documenti, spesso proprietari.

I team composti da 2-4 persone in rappresentanza della propria istituzione accademica sono stati affiancati da un partner industriale di OpenAI, Anthropic o Google DeepMind, che ha fornito l'accesso ai propri modelli e mentorship durante tutto il periodo di sviluppo. I team hanno avuto a disposizione circa due mesi per creare un agente utilizzando qualsiasi approccio ritenessero opportuno, con l'unico vincolo di dover utilizzare esclusivamente la famiglia di modelli del laboratorio partner per alimentare il proprio agente. Durante questo periodo, hanno utilizzato il benchmark OfficeQA per valutare nuove tecniche che ritenevano si sarebbero generalizzate a compiti di grounded reasoning simili.

Il giorno della competizione, i team hanno quindi avuto il compito di applicare i propri agenti in tempo reale su un nuovo benchmark appena rilasciato. La competizione era regolata dalle seguenti regole:

• Rilascio del benchmark: Il nuovo corpus (gli Accounts of Receipts and Expenditures del Tesoro degli U.S.) è stato rilasciato solo 36 ore prima della competizione. Ciò ha dato ai team il tempo di elaborare e indicizzare i dati, limitando al contempo la possibilità che i metodi andassero in overfitting sul nuovo benchmark.
• Vincoli di progettazione: I team potevano utilizzare qualsiasi framework di agenti, versione/i del corpus, strategia di recupero (retrieval), configurazione dell'uso degli strumenti o flusso di lavoro human-in-the-loop, purché utilizzassero i modelli del partner di laboratorio industriale assegnato.
• Formato: La competizione consisteva in sei round da 15 minuti con 15 domande per round. I round sono diventati progressivamente più difficili nel corso dell'evento.
• Punteggio: I team hanno ricevuto 1 punto per ogni risposta corretta. Per incentivare la bassa latenza, è stato assegnato anche un bonus di velocità di 0,25 punti se erano i primi a rispondere correttamente a una determinata domanda. I punti valevano il doppio nel round finale, che consisteva nelle domande più impegnative. Ogni team ha avuto a disposizione anche 3 nuovi invii nel corso della competizione, che poteva scegliere di applicare per correggere una risposta precedente.

Prestazioni dei team e apprendimenti

La competizione ha chiarito una cosa: il grounded reasoning su corpora di documenti di tipo aziendale è migliorato da quando abbiamo rilasciato il benchmark OfficeQA 7 mesi fa, ma è ancora ben lontano dall'essere risolto. Il punteggio medio dei team è stato di circa il 41%, mentre i primi tre team hanno superato il 50% di accuratezza, con il team di Stanford che ha vinto la competizione con un'accuratezza del 63,3%. Questi risultati indicano un lavoro straordinario da parte dei migliori team, oltre a un ampio margine di miglioramento ancora da esplorare.

Strategie dei team vincenti

Sebbene ognuno abbia adottato un approccio unico, sono emersi diversi pattern tra gli agenti creati dai primi tre team. I sistemi più solidi tendevano a combinare un'attenta pre-elaborazione dei documenti, un recupero (retrieval) mirato, l'uso strutturato di strumenti e passaggi di verifica delle risposte. In molti casi, le prestazioni dipendevano meno da una singola chiamata al modello e più dal sistema circostante: come venivano analizzati (parsed) i documenti, come venivano recuperate le prove, come venivano eseguite le computazioni intermedie e come venivano verificate le risposte prima dell'invio. Sebbene queste fossero qualità che i sistemi più performanti avevano generalmente in comune, ognuno di essi ha impiegato anche strategie distinte e creative, come descritto di seguito.

1° posto: Stanford University

L'approccio vincente del team di Stanford è nato dalla trasformazione delle comuni modalità di errore del grounded reasoning in procedure operative riutilizzabili da cui il loro agente Claude Code basato su Claude Opus 4.8 potesse apprendere e applicare alle domande della competizione. Durante lo sviluppo sul benchmark pubblico OfficeQA, inclusi esperimenti di ablazione con Opus 4.8 e persino Fable 5 (finché disponibile), il team ha ripetutamente ricondotto le risposte errate all'esatto passo falso dell'agente, trasformando poi tali pattern in competenze per la localizzazione delle tabelle, la formattazione delle risposte, chiarimenti su formulazioni finanziarie comuni, ecc. Il team ha anche integrato competenze in grado di decidere quando cercare nel testo del corpus analizzato (parsed) e nelle rappresentazioni dei documenti in stile markdown e quando ripiegare sui PDF di origine se il testo analizzato mancava del contesto completo. Entro il giorno della competizione, Stanford aveva preparato il proprio agente con un playbook di oltre 100 competenze. Hanno guidato tutti i team in termini di accuratezza, con 57 risposte corrette su 88 tentate.

Nonostante questa approfondita preparazione, Stanford ha comunque dovuto adattare la propria strategia durante la competizione. Nei primi tre round, il team ha utilizzato un altro agente Claude Code come verificatore per estrarre nuovamente i valori intermedi, controllare le modalità di errore più comuni (come il tracciamento dei valori modificati attraverso la data lineage e la gestione del ridimensionamento delle unità) e correggere i calcoli in caso di discrepanze. Tuttavia, dopo aver ottenuto solo due bonus di velocità in quei round, Stanford ha rimosso il passaggio di verifica aggiuntivo per gli ultimi tre. Questa modifica ha ridotto significativamente la latenza, aiutando il team a ottenere bonus di velocità su 14 domande e favorendo la rimonta. Il verificatore si è comunque rivelato decisivo nel round finale, quando Stanford lo ha riattivato per correggere una risposta tramite un rinvio finale, assicurandosi infine la vittoria.

2° posto: UMass Amherst

Il team di UMass ha scommesso sulla velocità. Hanno utilizzato Claude Opus 4.8 Fast come modello principale e hanno preelaborato il corpus per creare un catalogo di metadati che consentisse la ricerca e il filtraggio rapidi sui documenti analizzati. Per migliorare la qualità delle risposte mantenendo una bassa latenza, hanno eseguito tre agenti in parallelo su ogni domanda, seguiti da una chiamata di verifica finale di Opus per selezionare la risposta migliore.

Questa strategia ha garantito a UMass il tempo medio di invio più rapido per le risposte corrette: quattro minuti, meno della metà della media dei team di otto minuti e 30 secondi. Di conseguenza, hanno ottenuto 36 bonus di velocità, del valore di 0,25 punti ciascuno, per essere stati il primo team a rispondere correttamente, più del doppio rispetto ai 16 di Stanford al secondo posto. Questi bonus li hanno aiutati a costruire un vantaggio di 10,25 punti su Stanford entro l'intervallo e a mantenere un vantaggio di 3,75 punti all'inizio del round finale. UMass ha mantenuto quel vantaggio fino agli ultimi 56 secondi della competizione, quando l'agente di Stanford, più lento ma più accurato, si è rivelato decisivo sulle domande più impegnative, portandosi in vantaggio e vincendo per 1,75 punti.

L'approccio di UMass dimostra come modelli più veloci, la preelaborazione dei documenti e lo scaling in fase di test (test-time scaling) possano collaborare per ottenere una latenza molto bassa senza sacrificare troppa accuratezza.

3° posto: Yale University

Il team di Yale ha creato un sistema di verifica multi-arm progettato per rimanere robusto anche in caso di guasto di un singolo agente. Il sistema eseguiva quattro rami indipendenti in parallelo, coprendo due strategie agenziali. Due rami utilizzavano agenti ReAct autonomi: uno basato su Gemini 3.1 Pro e l'altro su Gemini 3.5 Flash. I restanti rami utilizzavano una pipeline planner-verifier più strutturata, con Gemini 3.1 Pro a gestire tutte le chiamate LLM. In questa pipeline, il planner esaminava e contestualizzava i documenti di origine, assemblando uno scratchpad contenente le prove necessarie per rispondere alla domanda. Il verificatore controllava quindi le fonti citate ed eseguiva i calcoli finali.

Un meta-verificatore Gemini 3.1 Pro esaminava le risposte e il ragionamento prodotti da tutti e quattro i rami e selezionava la risposta finale. Per ridurre il rischio di introdurre una nuova risposta non supportata, il meta-verificatore poteva selezionare solo una risposta proposta da uno dei rami esistenti. Quando non era possibile farlo, il sistema ricorreva a una votazione a maggioranza. Combinando architetture di agenti distinte con modalità di errore indipendenti e parzialmente decorrelate, Yale ha posto l'accento su una verifica coerente e fondata. Questo approccio ha fatto guadagnare al team il terzo posto, con 49 risposte corrette su 90 domande e un posizionamento tra i primi tre per correttezza in quattro dei sei round della competizione.

Sintesi delle strategie dei team vincenti

Uno degli insegnamenti fondamentali di questi approcci vincenti è che l'applicazione efficace di un agente a compiti di ragionamento fondato (grounded reasoning) end-to-end richiede una visione sistemica olistica, piuttosto che la sola scelta del modello. Tra gli approcci vincenti, alcune leve di progettazione chiave si sono rivelate particolarmente importanti:

• Qualità del parsing: I team migliori hanno utilizzato documenti pre-analizzati e spesso hanno arricchito queste rappresentazioni per includere metadati aggiuntivi (ad esempio, descrizioni di grafici o metadati a livello di pagina) e hanno conservato i percorsi per risalire ai PDF di origine a cui ricorrere quando il testo analizzato era incompleto. Nei nostri studi su OfficeQA Pro V2, abbiamo riscontrato che il pre-parsing dei documenti con ai_parse contribuisce in modo significativo al miglioramento delle prestazioni di Genie di 24,0 punti rispetto agli agenti di frontiera baseline.
• Qualità del recupero (retrieval): I sistemi più solidi non si sono affidati a una ricerca generica di chunk top-k. Hanno invece utilizzato una forma di recupero lessicale (ad esempio, grep), spesso abbinata a un recupero denso (dense retrieval) per un approccio ibrido.
• Uso degli strumenti (tool use): Gli agenti di successo hanno generalmente delegato la ricerca, l'ispezione dei documenti, i calcoli, il confronto e l'invio a strumenti specializzati.
• Strategie di verifica: Diversi team hanno integrato una forma di controllo di verifica esplicito tramite un agente di verifica o una chiamata LLM per migliorare la qualità delle risposte.
• Infrastruttura robusta: Sotto la pressione delle scadenze in tempo reale, dettagli operativi come la preelaborazione, la logica di ripetizione (retry logic), il parallelismo e l'infrastruttura di invio (submission scaffolding) sono stati necessari per garantire che le risposte corrette arrivassero effettivamente in tempo.

Questi fattori hanno determinato se il modello fosse in grado di trovare in modo affidabile le prove corrette, eseguire il calcolo giusto e inviare la risposta corretta sotto la pressione del tempo.

Impatto e prossimi passi

In sintesi, i risultati della Grounded Reasoning Cup dimostrano una serie di lezioni più ampie:

• La generalizzazione deve essere testata, non data per scontata. I miglioramenti su OfficeQA non si sono sempre trasferiti a OfficeQA Pro V2, e gli agenti di frontiera hanno comunque risposto correttamente a meno della metà delle sue domande in media. Il progresso su un benchmark familiare non si traduce necessariamente in un nuovo corpus o in una nuova distribuzione dei task.
• Le valutazioni rappresentative e held-out sono fondamentali. Dovrebbero valutare le forme di generalizzazione importanti, idealmente mantenendo fisse le qualità principali del task (ovvero il ragionamento fondato sui documenti), variando al contempo gli elementi del task che possono cambiare, come il corpus. Nel nostro post che descrive OfficeQA Pro V2, discutiamo di come sfruttiamo i dati sintetici, combinati con la nostra conoscenza dei flussi di lavoro dei clienti, per scalare rapidamente queste valutazioni rappresentative.
• Le prestazioni dell'agente dipendono dall'intero sistema. Le prestazioni dipendono non solo dal modello, ma anche dal parsing, dal recupero (retrieval), dall'uso degli strumenti, dalla verifica e dalla qualità dei dati e dell'infrastruttura sottostanti. I team vincenti hanno ottimizzato questi componenti in modo olistico. Allo stesso modo, Genie supera significativamente gli agenti di frontiera baseline quando utilizza strumenti come ai_parse per il pre-parsing dei documenti e ulteriori strategie di ottimizzazione dell'infrastruttura.

Siamo grati a tutti i team e agli sponsor del settore, tra cui OpenAI, Google DeepMind e Anthropic, che hanno partecipato alla prima Grounded Reasoning Cup di Databricks e hanno contribuito a far progredire il settore. Ringraziamo anche USAFacts per la continua collaborazione, dall'averci aiutato a identificare un nuovo corpus e a creare domande pertinenti per OfficeQA Pro V2, alla partnership con noi per la competizione stessa. Infine, ringraziamo il Dipartimento del Tesoro degli Stati Uniti per aver contribuito a identificare gli U.S. Accounts of Receipts and Expenditures come base per il benchmark della competizione e per aver rilasciato il dataset come raccolta coesa per la prima volta.

Autori: Krista Opsahl-Ong, Arnav Singhvi, Josh Joseph, Jasmine Collins, Ivan Zhou, Brooke Wenig, Denny Lee, Michael Bendersky, Erich Elsen, Xing Chen, Matei Zaharia

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale