Evaluierung von KI-Agenten live beim Grounded Reasoning Cup

In diesem Jahr veranstaltete Databricks den ersten Grounded Reasoning Cup, einen ersten Live-AI-Wettbewerb seiner Art, um die Fähigkeit von AI-Agenten zu bewerten, logische Schlüsse über komplexe Dokumentensammlungen auf Unternehmensebene zu ziehen. Durch das Testen von Agenten auf einem neu veröffentlichten Korpus unter Live-Wettbewerbsbedingungen sollte der Grounded Reasoning Cup helfen, eine der schwierigsten Fragen bei der AI-Evaluierung zu beantworten: Wie gut lassen sich Leistungssteigerungen bei einem Benchmark auf ähnliche, reale Aufgaben übertragen?

Der Wettbewerb brachte 11 führende akademische Teams aus den USA und Kanada zusammen, unterstützt durch Ressourcen und Mentoring von führenden Laboren wie OpenAI, Anthropic und Google DeepMind. Im Laufe von zwei Monaten entwickelten und optimierten die Teams ihre Agenten auf OfficeQA, unserem führenden Grounded-Reasoning-Benchmark, der darauf ausgelegt ist, wirtschaftlich wertvolle Workflows in Unternehmen abzubilden. Am Tag des Wettbewerbs standen sie vor der Herausforderung, diese Systeme in Echtzeit auf einen neu veröffentlichten Grounded-Reasoning-Benchmark anzuwenden, OfficeQA Pro V2, mit dem getestet werden sollte, ob sich ihre Verbesserungen verallgemeinern lassen.

Stanford gewann mit einem System, das eine Genauigkeit von 63,3 % erreichte und damit das durchschnittliche Team um etwa +22 Punkte und die durchschnittliche Offline-Baseline von Frontier-Agenten um etwa +35 Punkte übertraf. Die Spitzenteams zeigten erhebliche Fortschritte durch Dokumentenvorverarbeitung, gezieltes Retrieval, parallele Agenten, strukturierte Tool-Nutzung und Verifizierung. Gleichzeitig blieben 18,8 % der Fragen von allen Teams ungelöst, was unterstreicht, wie viel Spielraum für Verbesserungen beim Grounded Reasoning in Unternehmen noch vorhanden ist.

In diesem Blogbeitrag lassen wir den Wettbewerb Revue passieren und diskutieren Strategien zur Agentenoptimierung sowie Erkenntnisse der Gewinnerteams des Grounded Reasoning Cup: Stanford, University of Massachusetts Amherst und Yale.

Im Allgemeinen haben wir Folgendes festgestellt:

• Generalisierung erfordert repräsentative, zurückgehaltene Evaluierungen. Auf OfficeQA entwickelte Techniken ließen sich nicht immer zuverlässig auf unseren neuen Benchmark übertragen. Dies unterstreicht, wie wichtig es ist, zurückgehaltene Testsets wie OfficeQA Pro V2 zu nutzen, um sicherzustellen, dass Lösungen auf neue Beispiele generalisieren.
• Die Leistung der Agenten hängt vom Gesamtsystem ab, nicht nur vom Modell. Der durchschnittliche Unterschied zwischen den Teams mit den höchsten und den niedrigsten Punktzahlen bei Verwendung desselben Modells betrug 30,4 Punkte. Parsing, Retrieval, Tool-Nutzung, Verifizierung, Parallelität und die operative Infrastruktur machten den Unterschied aus, ob Agenten End-to-End-Grounded-Reasoning-Aufgaben erfolgreich lösen konnten.
• Grounded Reasoning in Unternehmen ist noch weit davon entfernt, gelöst zu sein. Selbst die Gewinnerteams hatten mit vielen der Retrieval-, Parsing- und Analyseanforderungen des Benchmarks zu kämpfen, was erheblichen Raum für weitere Forschung und Verbesserungen lässt. Wir ermutigen Entwickler und Forscher, die öffentlich zugängliche OfficeQA-Benchmark-Suite zu nutzen, um diese Arbeit weiter voranzutreiben.

Der Aufbau des Wettbewerbs

Das Ziel des Grounded Reasoning Cup war es, führende akademische Teams zusammenzubringen, um verallgemeinerbare Ansätze für Grounded Reasoning zu entwickeln – eine häufige Aufgabe in Unternehmen, bei der komplexe Fragen anhand von Belegen aus großen, oft proprietären Dokumentensammlungen beantwortet werden müssen.

Teams von 2–4 Personen, die ihre akademische Einrichtung vertraten, wurden mit einem Industriepartner von OpenAI, Anthropic oder Google DeepMind zusammengebracht, der während des gesamten Entwicklungszeitraums Zugang zu seinen Modellen und Mentoring bot. Die Teams hatten etwa zwei Monate Zeit, um einen Agenten mit beliebigen Ansätzen zu entwickeln, mit der einzigen Einschränkung, dass sie ausschließlich die Modellfamilie ihres Partnerlabors für ihren Agenten verwenden mussten. In diesem Zeitraum nutzten sie den OfficeQA-Benchmark, um neue Techniken zu evaluieren, von denen sie annahmen, dass sie sich auf ähnliche Grounded-Reasoning-Aufgaben übertragen lassen.

Am Tag des Wettbewerbs standen die Teams dann vor der Aufgabe, ihre Agenten in Echtzeit auf einen neuen, frisch veröffentlichten Benchmark anzuwenden. Für den Wettbewerb galten die folgenden Regeln:

• Veröffentlichung des Benchmarks: Der neue Korpus (die „Accounts of Receipts and Expenditures“ des US-Finanzministeriums) wurde erst 36 Stunden vor dem Wettbewerb veröffentlicht. Dies gab den Teams Zeit, die Daten zu verarbeiten und zu indexieren, während gleichzeitig die Möglichkeit eingeschränkt wurde, dass sich die Methoden übermäßig an den neuen Benchmark anpassen (Overfitting).
• Design-Einschränkungen: Die Teams konnten jedes Agenten-Framework, jede Korpusversion(en), jede Retrieval-Strategie, jedes Tool-Nutzungs-Setup oder jeden Human-in-the-Loop-Workflow verwenden, solange sie Modelle ihres zugewiesenen Laborpartners aus der Industrie nutzten.
• Format: Der Wettbewerb bestand aus sechs 15-minütigen Runden mit jeweils 15 Fragen. Die Runden wurden im Laufe der Veranstaltung progressiv schwieriger.
• Bewertung: Die Teams erhielten 1 Punkt für jede richtige Antwort. Um eine geringe Latenz zu belohnen, erhielten sie außerdem einen Geschwindigkeitsbonus von 0,25 Punkten, wenn sie eine Frage als Erste richtig beantworteten. In der Finalrunde, die aus den anspruchsvollsten Fragen bestand, zählten die Punkte doppelt. Jedes Team durfte im Laufe des Wettbewerbs außerdem 3 erneute Einreichungen vornehmen, um eine vorherige Antwort zu korrigieren.

Leistung der Teams & Erkenntnisse

Der Wettbewerb hat eines deutlich gemacht: Grounded Reasoning über Dokumentenkorpora auf Unternehmensebene hat sich seit der Veröffentlichung des OfficeQA-Benchmarks vor 7 Monaten verbessert, ist aber immer noch weit davon entfernt, gelöst zu sein. Die durchschnittliche Punktzahl der Teams lag bei ~41 %, während die drei besten Teams eine Genauigkeit von über 50 % erreichten, wobei das Stanford-Team den Wettbewerb mit 63,3 % Genauigkeit gewann. Diese Ergebnisse deuten auf eine beeindruckende Arbeit der Spitzenteams hin, lassen aber auch noch viel Spielraum für weitere Untersuchungen.

Strategien der Gewinnerteams

Obwohl jedes Team einen einzigartigen Ansatz verfolgte, zeichneten sich bei den Agenten der drei besten Teams einige Muster ab. Leistungsstarke Systeme kombinierten in der Regel eine sorgfältige Dokumentenvorverarbeitung, gezieltes Retrieval, strukturierte Tool-Nutzung und Schritte zur Antwortverifizierung. In vielen Fällen hing die Leistung weniger von einem einzelnen Modellaufruf ab als vielmehr vom umgebenden System: wie Dokumente geparst wurden, wie Belege abgerufen wurden, wie Zwischenberechnungen durchgeführt wurden und wie Antworten vor der Übermittlung verifiziert wurden. Obwohl die leistungsstärksten Systeme diese Eigenschaften im Allgemeinen gemeinsam hatten, setzten sie alle auch unterschiedliche und kreative Strategien ein, wie im Folgenden beschrieben.

1. Platz: Stanford University

Der Siegeransatz des Stanford-Teams bestand darin, häufige Fehlerquellen beim Grounded Reasoning in wiederverwendbare Arbeitsabläufe umzuwandeln, aus denen ihr Claude Opus 4.8 Claude Code-Agent lernen und sie auf die Wettbewerbsfragen anwenden konnte. Während ihrer Entwicklung auf dem öffentlichen OfficeQA-Benchmark, einschließlich Ablationsexperimenten mit Opus 4.8 und sogar Fable 5 (sofern verfügbar), führte das Team falsche Antworten wiederholt auf den genauen Fehltritt des Agenten zurück und wandelte diese Muster dann in Fähigkeiten für Tabellenlokalisierung, Antwortformatierung, Klärungen zu gängigen Finanzformulierungen usw. um. Das Team integrierte auch Fähigkeiten, die entschieden, wann der geparste Korpustext und Dokumentdarstellungen im Markdown-Stil durchsucht werden sollten und wann auf die Quell-PDFs zurückgegriffen werden sollte, wenn dem geparsten Text der vollständige Kontext fehlte. Bis zum Tag des Wettbewerbs hatte Stanford seinen Agenten mit einem Playbook von über 100 Fähigkeiten vorbereitet. Sie führten alle Teams in Bezug auf die Genauigkeit an, mit 57 korrekten Antworten von 88 unternommenen Versuchen.

Trotz dieser gründlichen Vorbereitung musste Stanford seine Strategie während des Wettbewerbs anpassen. In den ersten drei Runden setzte das Team einen weiteren Claude Code-Agenten als Verifizierer ein, um Zwischenwerte erneut zu extrahieren, typische Fehlerquellen wie die Verfolgung korrigierter Werte durch die Data Lineage und die Skalierung von Einheiten zu überprüfen und Berechnungen bei Abweichungen zu korrigieren. Da Stanford in diesen Runden jedoch nur zwei Schnelligkeitsboni erhielt, verzichtete das Team in den letzten drei Runden auf diesen zusätzlichen Verifizierungsschritt. Diese Änderung reduzierte die Latenz erheblich, was dem Team half, bei 14 Fragen Schnelligkeitsboni zu erzielen und seine Aufholjagd einzuleiten. Dennoch erwies sich der Verifizierer in der Finalrunde als entscheidend, als Stanford ihn wieder aktivierte, um eine Antwort durch eine letzte erneute Einreichung zu korrigieren und sich so letztendlich den Sieg zu sichern.

2. Platz: UMass Amherst

Das UMass-Team setzte voll auf Geschwindigkeit. Sie nutzten Claude Opus 4.8 Fast als primäres Modell und verarbeiteten den Korpus vor, um einen Metadatenkatalog zu erstellen, der eine schnelle Suche und Filterung in den analysierten Dokumenten ermöglichte. Um die Antwortqualität bei gleichzeitig geringer Latenz zu verbessern, ließen sie bei jeder Frage drei Agenten parallel laufen, gefolgt von einem abschließenden Opus-Verifizierungsaufruf, um die beste Antwort auszuwählen.

Diese Strategie bescherte UMass die schnellste durchschnittliche Einreichungszeit für korrekte Antworten: vier Minuten, weniger als die Hälfte des Teamdurchschnitts von acht Minuten und 30 Sekunden. Dadurch erhielten sie 36 Schnelligkeitsboni im Wert von jeweils 0,25 Punkten, weil sie als erstes Team richtig antworteten – mehr als das Doppelte von Stanfords zweitplatziertem Gesamtergebnis von 16. Diese Boni halfen ihnen, bis zur Halbzeit einen Vorsprung von 10,25 Punkten vor Stanford aufzubauen und einen Vorsprung von 3,75 Punkten vor der Finalrunde zu wahren. UMass hielt diese Führung bis zu den letzten 56 Sekunden des Wettbewerbs, als sich der langsamere, aber präzisere Agent von Stanford bei den anspruchsvollsten Fragen als entscheidend erwies, vorbeizog und mit 1,75 Punkten Vorsprung gewann.

Der Ansatz von UMass zeigt, wie schnellere Modelle, Dokumentenvorverarbeitung und Test-Time-Scaling zusammenwirken können, um eine sehr geringe Latenz zu erreichen, ohne dabei zu viel Genauigkeit einzubüßen.

3. Platz: Yale University

Das Yale-Team entwickelte ein mehrarmiges Verifizierungs-Harness (Multi-Arm Verification Harness), das auch dann robust bleiben sollte, wenn ein einzelner Agent ausfiel. Das System ließ vier unabhängige Arme parallel laufen, die zwei agentische Strategien abdeckten. Zwei Arme nutzten autonome ReAct-Agenten: einer betrieben mit Gemini 3.1 Pro, der andere mit Gemini 3.5 Flash. Die verbleibenden Arme nutzten eine strukturiertere Planner-Verifier-Pipeline, bei der alle LLM-Aufrufe über Gemini 3.1 Pro liefen. In dieser Pipeline untersuchte und kontextualisierte der Planner die Quelldokumente und stellte ein Scratchpad mit den Belegen zusammen, die zur Beantwortung der Frage benötigt wurden. Der Verifier überprüfte anschließend die zitierten Quellen und führte die abschließenden Berechnungen durch.

Ein Gemini 3.1 Pro Meta-Verifier überprüfte die von allen vier Armen generierten Antworten und Begründungen und wählte die endgültige Antwort aus. Um das Risiko zu verringern, eine neue, nicht belegte Antwort einzuführen, konnte der Meta-Verifier nur eine Antwort auswählen, die von einem der vorhandenen Arme vorgeschlagen wurde. War dies nicht möglich, griff das System auf eine Mehrheitsentscheidung (Majority Vote) zurück. Durch die Kombination verschiedener Agentenarchitekturen mit unabhängigen, teilweise dekorrelierten Fehlermodi setzte Yale auf eine konsistente, fundierte Verifizierung. Dieser Ansatz brachte dem Team den dritten Platz ein, mit 49 von 90 richtig beantworteten Fragen und einer Platzierung unter den Top 3 bei der Korrektheit in vier der sechs Wettbewerbsrunden.

Zusammenfassung der Strategien der Gewinnerteams

Eine der wichtigsten Erkenntnisse aus diesen erfolgreichen Ansätzen ist, dass der erfolgreiche Einsatz eines Agenten für End-to-End-Aufgaben des fundierten logischen Denkens (Grounded Reasoning) ein ganzheitliches Systemdenken erfordert und nicht nur die Wahl des Modells allein. Bei den erfolgreichen Ansätzen stachen einige wichtige Design-Hebel als besonders wichtig hervor:

• Parsing-Qualität: Die Spitzenteams verwendeten voranalysierte Dokumente und erweiterten diese analysierten Darstellungen häufig um zusätzliche Metadaten (z. B. Beschreibungen von Diagrammen oder Metadaten auf Seitenebene) und bewahrten Pfade zurück zu den Quell-PDFs auf, um darauf zurückzugreifen, wenn der analysierte Text unvollständig war. In unseren eigenen Studien zu OfficeQA Pro V2 haben wir festgestellt, dass die Voranalyse von Dokumenten mit ai_parse erheblich zur Leistungssteigerung von Genie um 24,0 Punkte im Vergleich zu den standardmäßigen Frontier-Agenten beiträgt.
• Retrieval-Qualität: Leistungsstarke Systeme verließen sich nicht auf eine generische Top-k-Chunk-Suche. Stattdessen nutzten sie eine Form des lexikalischen Retrievals (z. B. grep), oft kombiniert mit dichtem Retrieval (Dense Retrieval) für einen hybriden Ansatz.
• Nutzung von Tools: Erfolgreiche Agenten delegierten Suche, Dokumentenprüfung, Berechnungen, Vergleiche und Einreichungen im Allgemeinen an spezialisierte Tools.
• Verifizierungsstrategien: Mehrere Teams bauten eine Form der expliziten Verifizierungsprüfung über einen Verifizierungsagenten oder LLM-Aufruf ein, um die Antwortqualität zu steigern.
• Robustes Harness: Unter Live-Termindruck waren operative Details wie Vorverarbeitung, Retry-Logik, Parallelität und Einreichungs-Scaffolding erforderlich, um sicherzustellen, dass korrekte Antworten auch tatsächlich rechtzeitig ankamen.

Diese Faktoren entschieden darüber, ob das Modell unter Termindruck zuverlässig die richtigen Belege finden, die richtige Berechnung durchführen und die richtige Antwort einreichen konnte.

Auswirkungen und nächste Schritte

Zusammenfassend lassen sich aus den Ergebnissen des Grounded Reasoning Cup einige allgemeinere Lehren ziehen:

• Generalisierung muss getestet und darf nicht einfach vorausgesetzt werden. Verbesserungen bei OfficeQA ließen sich nicht immer auf OfficeQA Pro V2 übertragen, und Frontier-Agenten beantworteten im Durchschnitt immer noch weniger als die Hälfte der Fragen korrekt. Fortschritte bei einem vertrauten Benchmark lassen sich nicht zwangsläufig auf einen neuen Korpus oder eine neue Aufgabenverteilung übertragen.
• Repräsentative, zurückgehaltene Evaluierungen (Held-out Evaluations) sind entscheidend. Sie sollten die relevanten Formen der Generalisierung bewerten, wobei im Idealfall die Kerneigenschaften der Aufgabe unverändert bleiben (d. h. fundiertes logisches Denken über Dokumente hinweg), während veränderliche Elemente der Aufgabe, wie der Korpus, variiert werden. In unserem Beitrag zu OfficeQA Pro V2 erörtern wir, wie wir synthetische Daten in Kombination mit unserem Wissen über Kunden-Workflows nutzen, um diese repräsentativen Evaluierungen schnell zu skalieren.
• Die Leistung der Agenten hängt vom Gesamtsystem ab. Die Leistung hängt nicht nur vom Modell ab, sondern auch von Parsing, Retrieval, Tool-Nutzung, Verifizierung sowie der Qualität der zugrunde liegenden Daten und Infrastruktur. Die Gewinnerteams haben diese Komponenten ganzheitlich optimiert. Ebenso übertrifft Genie die standardmäßigen Frontier-Agenten deutlich, wenn Tools wie ai_parse zur Voranalyse von Dokumenten sowie zusätzliche Strategien zur Harness-Optimierung eingesetzt werden.

Wir danken allen Teams und Sponsoren aus der Branche, darunter OpenAI, Google DeepMind und Anthropic, die am ersten Grounded Reasoning Cup von Databricks teilgenommen und dazu beigetragen haben, das Fachgebiet voranzubringen. Wir danken auch USAFacts für die kontinuierliche Partnerschaft, die von der Unterstützung bei der Identifizierung eines neuen Korpus und der Erstellung relevanter Fragen für OfficeQA Pro V2 bis hin zur Zusammenarbeit beim Wettbewerb selbst reicht. Schließlich danken wir dem US-Finanzministerium (U.S. Treasury) für die Unterstützung bei der Identifizierung der „U.S. Accounts of Receipts and Expenditures“ als Grundlage für den Wettbewerbs-Benchmark und für die erstmalige Veröffentlichung des Datensatzes als zusammenhängende Sammlung.

Autoren: Krista Opsahl-Ong, Arnav Singhvi, Josh Joseph, Jasmine Collins, Ivan Zhou, Brooke Wenig, Denny Lee, Michael Bendersky, Erich Elsen, Xing Chen, Matei Zaharia

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag