Wir stellen vor: OfficeQA Pro V2 – ein neuer Benchmark für Grounded-Reasoning in Unternehmen

Heute veröffentlichen wir OfficeQA Pro V2, einen neuen Benchmark, der evaluieren soll, ob AI-Agenten auf unbekannte, unternehmensrelevante Grounded-Reasoning-Aufgaben generalisieren können.

Vor sieben Monaten haben wir den OfficeQA-Benchmark eingeführt, um zu messen, wie gut AI-Systeme analytische Fragen mithilfe von Belegen aus großen Dokumentsammlungen beantworten – eine extrem häufige und wichtige Aufgabe in Unternehmen, mit der Agenten unserer Erfahrung nach Schwierigkeiten hatten. Seit seiner Einführung hat sich OfficeQA und seine anspruchsvollere Teilmenge OfficeQA Pro zu einem wichtigen Maßstab für die Fähigkeiten von Frontier-Modellen und -Agenten entwickelt und den Fortschritt beim Abrufen von Dokumenten (Retrieval), beim Parsen und beim analytischen Denken vorangetrieben. Doch dieser Fortschritt wirft eine grundlegende Frage auf: Spiegeln diese Verbesserungen breitere Fortschritte beim Grounded Reasoning wider oder lediglich Fortschritte, die für einen bestimmten Korpus und eine bestimmte Aufgabenverteilung spezifisch sind? Diese Unterscheidung ist in Unternehmensumgebungen von Bedeutung, in denen Agenten selten auf einer einzigen, stabilen Dokumentsammlung arbeiten.

Unser neuer Benchmark, OfficeQA Pro V2, wurde entwickelt, um diese Generalisierung direkt zu testen. Wir haben OfficeQA Pro V2 ursprünglich als Benchmark für den ersten Databricks Grounded Reasoning Cup entwickelt, einen Live-Wettbewerb, bei dem 11 akademische Teams, unterstützt von OpenAI, Anthropic und Google DeepMind, Agenten bauten, die auf einem zuvor ungesehenen Korpus und einer Reihe von Grounded-Reasoning-Aufgaben evaluiert wurden. Der Benchmark enthält 90 Fragen, die auf etwa 120.000 Seiten der „Accounts of Receipts and Expenditures“ des US-Finanzministeriums basieren, die vom US-Finanzministerium anlässlich des 250-jährigen Bestehens der USA erstmals als zusammenhängender Datensatz veröffentlicht wurden. Jetzt freuen wir uns, den Benchmark einer breiteren Fachwelt von AI-Praktikern für ihre eigene Entwicklung zur Verfügung zu stellen.

OfficeQA Pro V2 bleibt eine Herausforderung für heutige AI-Systeme. Standardmäßige Frontier-Agenten, die Claude Code mit Claude Opus 4.8 und Claude Fable 5 oder Codex mit GPT-5.5 und GPT-5.6 Sol nutzen, erreichten eine durchschnittliche Genauigkeit von 37,5 %. Speziell für den Grounded Reasoning Cup entwickelte Agenten schnitten besser ab und erreichten im Durchschnitt 41,1 %, wobei das Gewinnerteam 63,3 % erzielte. Wir haben auch Databricks Genie evaluiert, den AI-Agenten von Databricks zur Beantwortung komplexer Fragen zu Unternehmensdaten, unter Verwendung derselben zugrunde liegenden Modelle. Genie, das auch das ai_parse von Databricks verwendet, um den Dokumentenkorpus vorab zu parsen, verbesserte die Genauigkeit im Vergleich zu den Standard-Harnesses um durchschnittlich 24,0 Prozentpunkte, wobei die stärkste Konfiguration 60 % erreichte. Zusammen zeigen diese Ergebnisse, dass Grounded Reasoning noch lange nicht gelöst ist, aber dass das richtige Agenten-Harness erhebliche Leistungssteigerungen bei bestehenden Frontier-Modellen freisetzen kann.

Im Folgenden beschreiben wir genauer, wie Agenten auf OfficeQA Pro V2 abschneiden, wie es aufgebaut wurde und wie es sich vom ursprünglichen OfficeQA-Benchmark unterscheidet.

Agenten-Performance auf OfficeQA Pro V2

Wir haben Frontier-Modelle zunächst mit dem zugehörigen Harness des jeweiligen Modellanbieters evaluiert – mit Codex für GPT-Modelle und Claude Code für Claude-Modelle – unter Verwendung derselben deterministischen Exact-Match-Metrik mit 0,0 % Toleranz, die auch für OfficeQA verwendet wurde. Über die fünf unter beiden Harnesses evaluierten Modelle hinweg erreichten diese Baseline-Konfigurationen eine durchschnittliche Genauigkeit von 26,0 %. Die Performance variierte je nach Modell erheblich, und höhere Kosten führten nicht konsistent zu einer höheren Genauigkeit. Beispielsweise erzielte Sonnet 5 auf Claude Code 15,6 % bei 5,01 $ pro Rollout, während GPT-5.6 Sol auf Codex 33,3 % bei vergleichbaren 4,70 $ erreichte.

Die Verwendung dieser Modelle innerhalb von Genie führte zu erheblichen Steigerungen. Bei direkt verglichenen Modellen verbesserte Genie die Genauigkeit um durchschnittlich 24,0 Prozentpunkte (eine relative Verbesserung von 92 %). Genie-Konfigurationen mit GPT-5.6 Luna, GPT-5.6 Terra und Claude Fable 5 dominieren ebenfalls die Kosten-Qualitäts-Pareto-Grenze, was zeigt, dass diese Verbesserungen keinen Kompromiss zwischen Effizienz und Genauigkeit erfordern. Im Fall von Claude Fable 5 verbessert der Wechsel zu Genie die Performance um 14,4 Prozentpunkte (+32 % relativ) und senkt gleichzeitig die Kosten um das ~9-Fache. Bei der Untersuchung der Traces stellen wir fest, dass Fable 5 zu wiederholten Schleifenversuchen beim Parsen vieler Dokumente neigt, was zu langen Rollouts führt, die im Durchschnitt 37,36 $ kosten. Genie parst Dokumente mit ai_parse Dokument, wodurch das Modell die korrekten Informationen auf jeder Seite effizient identifizieren kann, was Kosten spart und die Performance verbessert.

Obwohl diese Harness-Verbesserungen zu erheblichen Steigerungen führen, bleibt bei OfficeQA Pro V2 noch viel Luft nach oben. Die Systeme weisen weiterhin ähnliche Fehlermuster auf wie die, die wir beim ursprünglichen OfficeQA beobachtet haben – Parsing-Genauigkeit, fehlerhafte zeitliche Abstimmung bei sich im Laufe der Zeit ändernden Rechnungslegungskonventionen sowie Fehlinterpretationen des Entitätsumfangs oder der Kategorie-Granularität.

Erstellung eines neuen Grounded-Reasoning-Benchmarks

Um die Generalisierung wirklich zu testen, benötigten wir einen neuen Korpus, der dennoch dieselben unternehmensrelevanten Fähigkeiten widerspiegelt, für deren Messung OfficeQA entwickelt wurde: das Parsen komplexer Dokumente, das Abrufen der richtigen Belege und das Durchführen von analytischem Denken auf Basis dieser Informationen.

Wir haben mit dem US-Finanzministerium zusammengearbeitet, um den Benchmark um einen neuen Korpus herum aufzubauen: die „U.S. Federal Accounts of Receipts and Expenditures“, die das Finanzministerium anlässlich des 250-jährigen Bestehens der USA erstmals als einheitlichen Datensatz veröffentlichen wollte. Der Korpus besteht aus rund 1.400 PDFs und 120.000 Seiten mit detaillierten US-Buchhaltungsdaten aus den Jahren 1793 bis 2024.

Wie die im ursprünglichen OfficeQA-Benchmark verwendeten „U.S. Treasury Bulletins“ spiegelt dieser neue Korpus viele der typischen Herausforderungen von Dokumentsammlungen in Unternehmen wider: dichte Tabellen und Diagramme, im Laufe der Zeit revidierte Werte, sich entwickelnde Berichterstattungsstandards und tiefes institutionelles Wissen. Diese Komplexität führt auch zu einer anspruchsvollen Evaluierung: Wie beim ursprünglichen OfficeQA-Benchmark stellen wir fest, dass standardmäßige Frontier-Agenten Schwierigkeiten haben, auf OfficeQA Pro V2 eine konsistent hohe Genauigkeit zu erzielen.

Skalierung von OfficeQA Pro V2 mit synthetischen Daten

Als wir Ende 2025 den ursprünglichen OfficeQA-Benchmark erstellten, war der Prozess noch sehr manuell. Menschliche Annotatoren erstellten Fragen und Antworten von Hand, während sie einen Korpus aus 89.000 Seiten des „U.S. Treasury Bulletin“ durchsuchten, was oft zahlreiche Runden menschlicher Überprüfung erforderte, um die Qualität der Fragen sicherzustellen. Obwohl dieser Ansatz letztendlich zu einem qualitativ hochwertigen Benchmark führte, war er zeitaufwendig, teuer und schwer zu skalieren. Seitdem haben wir Techniken entwickelt, um die Erstellung strenger Benchmarks wesentlich effizienter und zuverlässiger zu automatisieren.

Für den Aufbau von OfficeQA Pro V2 haben wir asynth genutzt, unsere interne Bibliothek zur Erstellung von Pipelines für die Generierung synthetischer Daten. Dies ermöglichte es uns, schnell und skalierbar einen vielfältigen, überprüfbaren Benchmark zu erstellen, der die Herausforderungen des Grounded Reasoning durch einen systematischen Prozess zur Generierung und Überprüfung von Fragen präzise widerspiegelt:

1. Inputs. Um die Vielfalt der Stichproben zu fördern, wurde der Synthesizer mit einem zufällig ausgewählten Zeitraum, einer Analysemethode, einer Zielanzahl von Quelldokumenten und einem relevanten Thema gefüttert, das aus einer gemeinsam mit unserem Partner USAFacts entwickelten Liste stammt, um Fragen abzubilden, die Analysten natürlicherweise an den Korpus stellen würden.
2. Synthese. Für jede Frage in der engeren Auswahl suchte ein Synthese-Agent im Korpus nach Belegen, die diesen Kriterien entsprachen, und generierte ein Sample, das durch eine nachvollziehbare Kette von Grounded Reasoning gestützt wurde.
3. Verifizierung. Als Nächstes durchliefen die Stichproben mehrere Quality Gates, um Quellentreue, analytische Relevanz, Diversität und Beantwortbarkeit zu überprüfen. Unabhängige Solver-Agents versuchten, die Frage von Grund auf zu lösen, und erstellten alternative Lösungswege, die von einem Verifizierungs-Agent überprüft wurden. Nur Kandidaten mit nachweislich korrekten Antworten kamen in die nächste Phase.
4. Abschließende Überprüfung. Als letzter Schritt der Qualitätskontrolle wurden die Stichproben manuell zusammen mit den von weiteren Frontier-Modellen erstellten Lösungen überprüft. Die Prüfer untersuchten Frage, Antwort, Argumentation und die zitierten Belege gemeinsam und behielten nur Stichproben, deren Interpretation und Ground Truth eindeutig korrekt waren.

Die resultierenden Fragen erfordern dieselben grundlegenden Fähigkeiten zur fundierten Argumentation (Grounded Reasoning), die auch durch den ursprünglichen OfficeQA-Benchmark gemessen werden: Abruf über mehrere Quelldokumente hinweg, analytisches Denken und spezialisierte Fähigkeiten wie ergänzende Websuche und multimodale Interpretation von Abbildungen. Beispielhafte Fragen aus dem Benchmark sowie Details zu seiner Zusammensetzung finden Sie unten.

Beispielfragen

1. Niedriger Schwierigkeitsgrad: Berechnung der Bezüge des Chief Justice: „Wie hoch ist der nominale Gesamtdollarwert der Bezüge von John Jay als Chief Justice des Supreme Court laut dem „Account of Receipts and Expenditures of the United States“ in der zweiten Hälfte des CY 1793, und welche Zahlungsanweisungsnummern (Warrant Numbers) gehörten zu den Zahlungen? Geben Sie Ihre Antwort als kommagetrennte Werte in eckigen Klammern in der Reihenfolge seines Verdienstes und der Zahlungsanweisungsnummern in chronologischer Reihenfolge des Kalenderjahres an.“

Diese Frage erfordert das Auffinden einer einzelnen Seite des „Account of Receipts and Expenditures“ von 1793 und das Ablesen der vier für Chief Justice John Jay verzeichneten Zahlungen (rot markiert), wobei korrekt interpretiert werden muss, dass „do.“ die Abkürzung für „ditto“ (ebenso) ist und dieselbe Datenkategorie wie die vorherige Zeile anzeigt. Die Frage erfordert dann das Verständnis, dass die „zweite Hälfte des CY 1793“ die Antwort auf die Zahlungen im Juli und November beschränkt. Schließlich ist der Abruf der entsprechenden Zahlungsanweisungsnummern und eine einfache Summenbildung erforderlich, um das Endergebnis zu berechnen.

2. Mittlerer Schwierigkeitsgrad: Prognose des Anstiegs der Medicare-Ausgaben: „Zwischen FY1990 und einschließlich FY1994 stiegen die Medicare-Ausgaben im Zuge der Programmerweiterung rasch an. Wenn Sie eine lineare OLS-Regression an die gemeldeten jährlichen Medicare-Ausgabenzahlen für diese Geschäftsjahre anpassen, wie hoch ist der geschätzte durchschnittliche jährliche Dollar-Anstieg der Medicare-Ausgaben in Millionen Dollar, gerundet auf zwei Dezimalstellen?“

Diese Frage erfordert den Abruf der Medicare-Ausgabenzahlen aus der Tabelle „Outlays by Function“ in fünf separaten jährlichen „Combined Statements“ (FY1990–FY1994, rot markiert). Wichtig ist, dass der Agent den Wert jedes Jahres aus der zuletzt überarbeiteten Spalte des Vorjahres ablesen muss und nicht aus der zuerst gemeldeten Zahl. Schließlich muss der Agent die Reihe mit einem linearen Regressionsmodell anpassen, um den durchschnittlichen jährlichen Anstieg zu schätzen.

3. Hoher Schwierigkeitsgrad: Prognose des Ausgabenanstiegs über verschiedene Behörden hinweg: „Passen Sie für die kombinierten Nettoausgaben des Department of Commerce, Department of the Interior, Department of State, der Environmental Protection Agency und der National Aeronautics and Space Administration, zusammengefasst aus ihren jeweiligen Treasury Account Symbol (TAS)-Familien gemäß den Berichten des U.S. Treasury, die standardmäßige nicht-saisonale Theta-Methode auf die gemeldeten Ausgaben an: Schätzen Sie die Komponente θ=0 als linearen OLS-Trend, konstruieren Sie die transformierte Reihe θ=2, prognostizieren Sie diese Komponente mit einfacher exponentieller Glättung, initialisiert mit ihrem ersten Wert, und wählen Sie α über [0, 1], wobei α = 1.0 zulässig ist. Wie hoch ist unter Verwendung dieser Prognose und der Mittelwertbildung der One-Step-Ahead-Prognosen für θ=0 und θ=2 die Prognose für FY1989 in Millionen Dollar, gerundet auf die nächste Hundertstelstelle?“

Diese Frage erfordert die Zusammenstellung einer achtjährigen Reihe (FY1981–FY1988) von Nettoausgaben für fünf verschiedene Behörden (Commerce, Interior, State, EPA und NASA) aus acht separaten „Combined Statements“. Auch hier darf der Agent nur die zuletzt gemeldeten Zahlen für jedes Jahr verwenden. Die resultierende Reihe muss dann verwendet werden, um die Nettoausgaben für FY1989 mithilfe einer bestimmten Prognosemethode vorherzusagen.

Details zum Benchmark

OfficeQA Pro V2 besteht aus 90 Fragen, die alle Belege aus dem Korpus des Benchmarks erfordern. Als Teil unserer Pipeline zur Verifizierung synthetischer Daten haben wir Fragen herausgefiltert, die allein mithilfe von parametrischem Wissen oder Websuche beantwortet werden könnten.

Obwohl OfficeQA Pro V2 auf einem neuen Korpus aufbaut, bewahrt es die grundlegenden Fähigkeiten zur fundierten Argumentation in Unternehmen (Grounded Reasoning), die durch den ursprünglichen OfficeQA-Benchmark gemessen werden – sowohl über den gesamten Fragensatz (OfficeQA Full) als auch innerhalb der Teilmenge mit Spitzen-Schwierigkeitsgrad (OfficeQA Pro). 7 % der Fragen erfordern ein visuelles Verständnis von Diagrammen, Grafiken oder Abbildungen, verglichen mit etwa 3 % in OfficeQA Pro. Weitere 10 % erfordern zusätzliche Informationen aus der Websuche (wie Inflationsindizes, GDP-Reihen oder Bevölkerungszahlen), verglichen mit 21,8 % in OfficeQA Pro und 15,9 % in OfficeQA Full. Insgesamt erfordert etwa jede sechste Frage in OfficeQA Pro V2 mindestens eine dieser spezialisierten Fähigkeiten, die über den reinen Textabruf und die Textanalyse hinausgehen.

Im Vergleich zu OfficeQA Pro erfordert OfficeQA Pro V2 pro Frage Belege aus wesentlich mehr Quelldokumenten. OfficeQA-Pro-Fragen greifen im Durchschnitt auf etwa 2 „Treasury Bulletin“-Dokumente zurück, während OfficeQA-Pro-V2-Fragen Belege aus durchschnittlich 6,7 Quelldokumenten erfordern, bei einem Median von 5,5 und einem Maximum von 24. Insgesamt erfordern 74,4 % der Fragen in OfficeQA Pro V2 vier oder mehr Quellen, verglichen mit 62,4 % bei OfficeQA Pro und 56,1 % bei OfficeQA Full.

Zusammengenommen machen diese Eigenschaften OfficeQA Pro V2 zu einem anspruchsvolleren Test für durchgängiges Grounded Reasoning als den ursprünglichen Benchmark. Gleichzeitig bleibt die realistische Mischung aus analytischen, multimodalen und externen Wissensanforderungen erhalten, wie sie in Unternehmens-Workflows vorkommt. Um zu verstehen, warum der Benchmark weiterhin eine Herausforderung darstellt, lohnt sich ein Blick darauf, wie drastisch sich die zugrunde liegenden Dokumente und Berichtsstandards im Laufe der Zeit verändert haben.

Ein Korpus aus über zwei Jahrhunderten

Der Korpus erstreckt sich über 232 Jahre der US-Bundesfinanzberichterstattung und erfasst die Entwicklung von Dokumentenstrukturen, Rechnungslegungsstandards, Terminologie und Institutionen über mehr als zwei Jahrhunderte hinweg. Beispielsweise enthalten Aufzeichnungen aus dem späten 18. und frühen 19. Jahrhundert häufig Zahlungen an Einzelpersonen. Diese Dokumente enthalten oft breite Ausklapptabelle im Querformat, archaische Typografie wie die Verwendung des langen s in Wörtern wie „Treaſury“ oder „Preſident“ und historische Schreibkonventionen wie die Erfassung von „do./ditto“, was moderne Parsing-Lösungen vor völlig neue Herausforderungen stellt.

Bis Mitte des 19. Jahrhunderts wurden die Daten in zweiseitigen T-Konto-Formaten und dichten, linierten Tabellen dargestellt, während der Berichtszeitraum von Kalender- auf Geschäftsjahre umgestellt wurde. Im frühen 20. Jahrhundert wurden dann neue Finanzbegriffe wie Eröffnungs- und Schlussbilanzen, mehrjährige Mittelzuweisungen sowie Überschuss- und Defizitkonventionen eingeführt.

In den 1980er-Jahren hatte sich das Combined Statement zu einem Jahresbericht mit einem detaillierten Anhang entwickelt. Die Berichte wurden Anfang der 2000er-Jahre digital nativ und enthielten neben einem standardisierten Inhaltsverzeichnis auch visuelle Diagramme.

OfficeQA Pro V2 baut auf der Komplexität der Accounts of Receipts and Expenditures auf und stellt einen besonders anspruchsvollen Stresstest für Grounded Reasoning dar. Über das gesamte Korpus hinweg kann sich dasselbe Finanzkonzept in Name, Position, Tabellenschema, Einheit, Zeitbasis und Aggregationsstufe ändern. Neben dem Parsen von Dokumenten und dem Abrufen von Werten bedeutet dies, dass Agenten Informationen über sich ändernde Berichtsstandards hinweg abgleichen müssen – eine Komplexität, die in Unternehmensumgebungen typisch ist.

Fazit & Danksagungen

Der Benchmark und das geparste Korpus sind jetzt öffentlich auf Hugging Face verfügbar, und der Evaluierungscode steht auf GitHub bereit. Wir ermutigen Forscher und Praktiker, ihre eigenen agentischen Systeme auf OfficeQA Pro V2 zu evaluieren, und empfehlen die Nutzung als Testset für OfficeQA Pro. Für Entwickler in Unternehmen kann OfficeQA Pro V2 als Testumgebung für die Erstellung von Agenten dienen, die komplexe Fragen über große, heterogene Dokumentensammlungen hinweg beantworten müssen. Teams können damit Modelle und Agentenarchitekturen vergleichen, feststellen, ob Fehler beim Parsen, beim Retrieval, beim Reasoning oder bei der Verifizierung auftreten, und messen, wie sich Änderungen an ihren Systemen auf Genauigkeit, Latenz und Kosten auswirken, bevor sie diese Ansätze auf ihre eigenen Unternehmensdaten anwenden. Schließlich möchten wir den Lesern drei wichtige Erkenntnisse mitgeben:

1. Repräsentative Evaluierungen sind unerlässlich, und synthetische Daten können bei deren Skalierung helfen. Frontier-Agenten tun sich mit Unternehmens-Workflows standardmäßig immer noch schwer. Daher ist es entscheidend, Systeme anhand von Aufgaben zu evaluieren, die die Komplexität der realen Welt widerspiegeln, und zu testen, ob sich Verbesserungen auf unbekannte Umgebungen übertragen lassen. Bei Databricks kombinieren wir Techniken für synthetische Daten mit unserem Verständnis von Kunden-Workflows, um repräsentative Evaluierungen wie OfficeQA Pro V2 effizienter und in größerem Maßstab zu erstellen.
2. Ein optimiertes Agenten-Harness ist entscheidend für die Erzielung der besten Leistung. Der Wechsel von den Baseline-Harnesses der Modellanbieter zu Databricks Genie verbesserte die Leistung bei den evaluierten Modellen um durchschnittlich 24,0 Prozentpunkte (+92 % relativ). Diese Ergebnisse zeigen, dass Entscheidungen in den Bereichen Dokumentenverarbeitung, Retrieval, Tool-Nutzung und Orchestrierung sowohl die Genauigkeit als auch die Effizienz von Grounded-Reasoning-Systemen erheblich beeinflussen können.
3. Bei Grounded Reasoning gibt es noch erheblichen Verbesserungsbedarf. Obwohl Harness-Optimierungen im Vergleich zu den Standard-Baselines erhebliche Gewinne brachten, hatten selbst die stärksten Systeme weiterhin mit Herausforderungen wie dem originalgetreuen Parsen von Dokumenten, dem Abgleich von Werten im Zeitverlauf und dem Abrufen der neuesten korrigierten Zahlen zu kämpfen. Kontinuierliche Fortschritte erfordern Innovationen über den gesamten Agenten-Stack hinweg, vom Parsen und Retrieval bis hin zur Analyse und Verifizierung.

Wir danken USAFacts für die kontinuierliche Partnerschaft bei der OfficeQA-Benchmark-Suite, einschließlich der Unterstützung bei der Identifizierung des neuen Korpus, der Entwicklung repräsentativer analytischer Themen und Fragen sowie der Organisation des Grounded Reasoning Cup. Wir danken auch dem U.S. Treasury für die Unterstützung bei der Identifizierung der U.S. Accounts of Receipts and Expenditures als Grundlage für den Wettbewerbs-Benchmark und für die erstmalige Veröffentlichung des Datensatzes als zusammenhängende Sammlung.

Autoren: Krista Opsahl-Ong, Arnav Singhvi, Josh Joseph, Jasmine Collins, Ivan Zhou, Shubham Toshniwal, Michael Bendersky, Erich Elsen, Xing Chen, Matei Zaharia

Wenn Sie mehr erfahren und mit OfficeQA Pro V2 loslegen möchten, sehen Sie sich den Benchmark auf Hugging Face an.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag