Apresentando o OfficeQA Pro V2: Um novo benchmark para raciocínio fundamentado empresarial

Hoje, estamos lançando o OfficeQA Pro V2, um novo benchmark projetado para avaliar se agentes de AI conseguem se generalizar para tarefas desconhecidas de raciocínio fundamentado no estilo empresarial.

Há sete meses, apresentamos o benchmark OfficeQA para medir a capacidade de sistemas de AI de responder a perguntas analíticas usando evidências de grandes coleções de documentos, uma tarefa empresarial extremamente comum e importante com a qual descobrimos que os agentes tinham dificuldade. Desde sua introdução, o OfficeQA e seu subconjunto de fronteira, o OfficeQA Pro, tornaram-se uma medida importante para os recursos de modelos e agentes de fronteira, impulsionando o progresso na recuperação de documentos, parsing e raciocínio analítico. Mas esse progresso levanta uma questão fundamental: essas melhorias refletem avanços mais amplos no raciocínio fundamentado ou um progresso específico de um único corpus e distribuição de tarefas? Essa distinção é importante em ambientes empresariais, onde os agentes raramente operam em uma coleção de documentos única e estável.

Nosso novo benchmark, o OfficeQA Pro V2, foi projetado para testar essa generalização diretamente. Inicialmente, desenvolvemos o OfficeQA Pro V2 como o benchmark para a edição inaugural da Databricks Grounded Reasoning Cup, uma competição ao vivo na qual 11 equipes acadêmicas, apoiadas por OpenAI, Anthropic e Google DeepMind, criaram agentes que foram avaliados em um corpus e em um conjunto de tarefas de raciocínio fundamentado inéditos. O benchmark contém 90 perguntas fundamentadas em aproximadamente 120.000 páginas do Accounts of Receipts and Expenditures do Tesouro dos EUA, que foi lançado como um conjunto de dados coeso pelo Tesouro dos EUA pela primeira vez em conjunto com o 250º aniversário dos Estados Unidos. Agora, estamos entusiasmados em lançar o benchmark para profissionais de AI de forma mais ampla para uso em seu próprio desenvolvimento.

O OfficeQA Pro V2 continua sendo um desafio para os sistemas de AI atuais. Agentes de fronteira prontos para uso que utilizam o Claude Code com o Claude Opus 4.8 e o Claude Fable 5, ou o Codex com o GPT-5.5 e o GPT-5.6 Sol, alcançaram uma acurácia média de 37,5%. Os agentes desenvolvidos especificamente para a Grounded Reasoning Cup tiveram um desempenho melhor, com média de 41,1%, com a equipe vencedora atingindo 63,3%. Também avaliamos o Databricks Genie, o agente de AI da Databricks projetado para responder a perguntas complexas sobre dados empresariais, usando os mesmos modelos subjacentes. O Genie, que também usa o ai_parse da Databricks para fazer o pré-parsing do corpus de documentos, melhorou a acurácia em uma média de 24,0 pontos percentuais em relação aos harnesses padrão, com a configuração mais forte atingindo 60%. Juntos, esses resultados mostram que o raciocínio fundamentado ainda está longe de ser resolvido, mas que o harness de agente correto pode liberar ganhos significativos dos modelos de fronteira existentes.

Abaixo, descrevemos em mais detalhes o desempenho dos agentes no OfficeQA Pro V2, como ele foi construído e como ele difere do benchmark OfficeQA original.

Desempenho de agentes no OfficeQA Pro V2

Primeiro, avaliamos os modelos de fronteira usando o harness associado de cada provedor de modelo, com o Codex para modelos GPT e o Claude Code para modelos Claude, usando a mesma métrica determinística de correspondência exata com tolerância de 0,0% usada para o OfficeQA. Nos cinco modelos avaliados sob ambos os harnesses, essas configurações de linha de base alcançaram uma acurácia média de 26,0%. O desempenho variou substancialmente de acordo com o modelo, e um custo mais alto não se traduziu consistentemente em maior acurácia. Por exemplo, o Sonnet 5 no Claude Code obteve 15,6% a US$ 5,01 por rollout, enquanto o GPT-5.6 Sol no Codex atingiu 33,3% a um valor comparável de US$ 4,70.

O uso desses modelos no Genie produziu ganhos substanciais. Nas comparações de modelos correspondentes, o Genie melhorou a acurácia em 24,0 pontos percentuais em média (uma melhoria relativa de 92%). As configurações do Genie usando o GPT-5.6 Luna, o GPT-5.6 Terra e o Claude Fable 5 também dominam a fronteira de Pareto de custo-qualidade, demonstrando que essas melhorias não exigem a troca de eficiência por acurácia. No caso do Claude Fable 5, a mudança para o Genie melhora o desempenho em 14,4 pontos percentuais (+32% relativo), ao mesmo tempo que reduz o custo em cerca de 9 vezes. Ao inspecionar os traces, descobrimos que o Fable 5 é propenso a tentativas em loop de analisar muitos documentos, o que leva a rollouts longos que custam US$ 37,36 em média. O Genie analisa os documentos usando o documento ai_parse, o que permite ao modelo identificar com eficiência as informações corretas de cada página, economizando custos e melhorando o desempenho.

Embora essas melhorias de harness levem a ganhos substanciais, ainda há uma margem significativa de melhoria no OfficeQA Pro V2. Os sistemas continuam a apresentar modos de falha semelhantes aos que observamos no OfficeQA original: fidelidade de parsing, reconciliação temporal incorreta à medida que as convenções contábeis mudam ao longo do tempo e interpretação incorreta do escopo da entidade ou da granularidade da categoria.

Construindo um novo benchmark de raciocínio fundamentado

Para testar verdadeiramente a generalização, precisávamos de um novo corpus que ainda refletisse as mesmas habilidades relevantes para empresas que o OfficeQA foi projetado para medir: fazer o parsing de documentos complexos, recuperar as evidências corretas e realizar raciocínio analítico fundamentado nessas informações.

Trabalhamos com o Tesouro dos EUA para construir o benchmark em torno de um novo corpus: o U.S. Federal Accounts of Receipts and Expenditures, que o Tesouro estava se preparando para lançar como um conjunto de dados unificado pela primeira vez em conjunto com o 250º aniversário dos Estados Unidos. O corpus consiste em cerca de 1.400 PDFs e 120.000 páginas contendo registros contábeis detalhados dos EUA, abrangendo de 1793 a 2024.

Assim como os U.S. Treasury Bulletins usados no benchmark OfficeQA original, este novo corpus reflete muitos dos desafios comuns em coleções de documentos empresariais: tabelas e gráficos densos, valores revisados ao longo do tempo, convenções de relatórios em evolução e profundo conhecimento institucional. Essas complexidades também se traduzem em uma avaliação desafiadora: assim como no benchmark OfficeQA original, descobrimos que os agentes de fronteira de linha de base têm dificuldade para alcançar uma acurácia consistentemente alta no OfficeQA Pro V2.

Quando criamos o benchmark OfficeQA original no final de 2025, o processo era altamente manual. Anotadores humanos construíam perguntas e respostas manualmente enquanto vasculhavam um corpus composto por 89.000 páginas do U.S. Treasury Bulletin, muitas vezes exigindo várias rodadas de revisão humana para garantir a qualidade das perguntas. Embora essa abordagem tenha eventualmente produzido um benchmark de alta qualidade, ela consumia muito tempo, era cara e difícil de dimensionar. Desde então, desenvolvemos técnicas para automatizar a criação de benchmarks rigorosos de forma muito mais eficiente e confiável.

Para construir o OfficeQA Pro V2, aproveitamos a asynth, nossa biblioteca interna para construir pipelines de geração de dados sintéticos. Isso nos permitiu criar de forma rápida e escalável um benchmark diversificado e verificável que refletisse com precisão os desafios do raciocínio fundamentado usando um processo sistemático para gerar e avaliar perguntas:

1. Entradas. Para promover a diversidade de amostras, o sintetizador foi alimentado com um período de tempo selecionado aleatoriamente, método analítico, número-alvo de documentos de origem e um tópico relevante extraído de uma lista desenvolvida com nosso parceiro, USAFacts, para refletir perguntas que os analistas poderiam naturalmente fazer ao corpus.
2. Síntese. Para cada pergunta candidata, um agente de síntese pesquisou no corpus por evidências que correspondessem a esses critérios e gerou uma amostra apoiada por uma cadeia rastreável de raciocínio fundamentado.
3. Verificação. Em seguida, as amostras passaram por várias etapas de qualidade para auditar a fidelidade da fonte, relevância analítica, diversidade e capacidade de resposta. Agentes solucionadores independentes tentaram responder à pergunta do zero, produzindo trajetórias de solução alternativas, que foram revisadas por um agente de verificação. Apenas os candidatos com respostas comprovadamente corretas avançaram para a próxima fase.
4. Revisão final. Como etapa final de controle de qualidade, as amostras foram revisadas manualmente junto com as soluções produzidas por modelos de fronteira adicionais. Os revisores examinaram a pergunta, a resposta, o raciocínio e as evidências citadas em conjunto, retendo apenas as amostras cuja interpretação e ground truth fossem inequivocamente corretas.

As perguntas resultantes exigem as mesmas capacidades essenciais de raciocínio fundamentado (grounded reasoning) medidas pelo benchmark OfficeQA original: recuperação em vários documentos de origem, raciocínio analítico e capacidades especializadas, como pesquisa complementar na web e interpretação multimodal de figuras. Exemplos de perguntas do benchmark, bem como detalhes sobre sua composição, podem ser vistos abaixo.

Exemplos de perguntas

1. Baixa dificuldade: Calcular os ganhos do Chefe de Justiça: “Qual é o valor nominal total em dólares dos ganhos de John Jay como Chefe de Justiça da Suprema Corte, de acordo com o Relatório de Receitas e Despesas dos Estados Unidos durante a segunda metade do CY 1793, e quais números de ordem de pagamento corresponderam aos pagamentos? Retorne sua resposta como valores separados por vírgula entre colchetes na ordem do valor de seus ganhos e os números de ordem de pagamento na ordem do ano civil.”

Esta pergunta exige localizar uma única página do Relatório de Receitas e Despesas de 1793 e ler os quatro pagamentos de ordens de pagamento registrados para o Chefe de Justiça John Jay (destacados em vermelho), interpretando corretamente que "do." é uma abreviação de "ditto" (idem), indicando a mesma categoria de dados da linha anterior. A pergunta exige então a compreensão de que a “segunda metade do CY 1793” limita a resposta apenas aos pagamentos de julho e novembro. Por fim, a recuperação dos números de ordem de pagamento correspondentes e uma soma simples são necessárias para calcular a resposta final.

2. Média dificuldade: Previsão de aumento nas despesas do Medicare: “Entre o FY1990 e o FY1994 inclusive, as despesas do Medicare cresceram rapidamente à medida que o programa se expandia. Ajustando uma regressão linear OLS aos valores anuais relatados de despesas do Medicare para esses anos fiscais, qual é o aumento médio anual estimado em dólares nas despesas do Medicare relatado em milhões de dólares, arredondado para duas casas decimais?”

Esta pergunta exige a recuperação do valor das despesas do Medicare na tabela "Despesas por Função" em cinco demonstrações combinadas anuais separadas (FY1990–FY1994, destacadas em vermelho). É importante ressaltar que o agente deve ler o valor de cada ano a partir da coluna revisada mais recente do ano anterior, em vez do primeiro valor relatado. Por fim, o agente deve ajustar a série com um modelo de regressão linear para estimar o aumento médio anual.

3. Alta dificuldade: Previsão de aumento de despesas entre agências: “Para as despesas líquidas combinadas dos Departamentos de Comércio, Interior e Estado, da Environmental Protection Agency e da National Aeronautics and Space Administration consolidadas a partir de suas famílias constituintes de Treasury Account Symbol (TAS) conforme relatado pelo Tesouro dos EUA, ajuste o método Theta não sazonal padrão nas despesas relatadas: estime o componente θ=0 como uma tendência linear OLS, construa a série transformada θ=2, preveja esse componente com suavização exponencial simples inicializada em seu primeiro valor e escolha α em [0, 1], permitindo α = 1.0. Usando essa previsão e calculando a média das previsões de um passo à frente de θ=0 e θ=2, qual é a previsão para o FY1989 em milhões de dólares arredondada para o centésimo mais próximo?”

Esta pergunta exige a montagem de uma série de oito anos (FY1981–FY1988) de despesas líquidas para cinco agências diferentes (Commerce, Interior, State, EPA e NASA) a partir de oito demonstrações combinadas separadas. Novamente, o agente deve usar apenas os números relatados mais recentes para cada ano. A série resultante deve então ser usada para prever as despesas líquidas para o FY1989, usando um método de previsão específico.

Detalhes do benchmark

O OfficeQA Pro V2 consiste em 90 perguntas, todas as quais exigem evidências do corpus do benchmark. Como parte do nosso pipeline de verificação de dados sintéticos, filtramos perguntas que poderiam ser respondidas usando apenas conhecimento paramétrico ou pesquisa na web.

Embora construído em um novo corpus, o OfficeQA Pro V2 preserva as capacidades essenciais de raciocínio fundamentado empresarial medidas pelo benchmark OfficeQA original, tanto no conjunto completo de perguntas, OfficeQA Full, quanto em seu subconjunto de dificuldade de fronteira, OfficeQA Pro. 7% das perguntas exigem compreensão visual de tabelas, gráficos ou figuras, em comparação com aproximadamente 3% no OfficeQA Pro. Outros 10% exigem informações suplementares obtidas por meio de pesquisa na web (como índices de inflação, séries de GDP ou dados populacionais), em comparação com 21,8% no OfficeQA Pro e 15,9% no OfficeQA Full. Juntas, aproximadamente uma em cada seis perguntas do OfficeQA Pro V2 exige pelo menos uma dessas capacidades especializadas além da recuperação e análise de texto.

Em comparação com o OfficeQA Pro, o OfficeQA Pro V2 exige evidências de substancialmente mais documentos de origem por pergunta. As perguntas do OfficeQA Pro baseiam-se em aproximadamente 2 documentos do Treasury Bulletin em média, enquanto as perguntas do OfficeQA Pro V2 exige evidências de 6,7 documentos de origem em média, com uma mediana de 5,5 e um máximo de 24. No total, 74,4% das perguntas do OfficeQA Pro V2 exigem quatro ou mais fontes, em comparação com 62,4% no OfficeQA Pro e 56,1% no OfficeQA Full.

Juntas, essas características tornam o OfficeQA Pro V2 um teste mais exigente de raciocínio fundamentado de ponta a ponta do que o benchmark original, ao mesmo tempo em que preserva a mesma combinação realista de requisitos analíticos, multimodais e de conhecimento externo encontrados em fluxos de trabalho empresariais. Para entender por que o benchmark continua desafiador, é útil examinar quão drasticamente os documentos subjacentes e as convenções de relatórios evoluíram ao longo do tempo.

Um corpus que abrange mais de dois séculos

Abrangendo 232 anos de relatórios financeiros federais dos EUA, o corpus também captura a evolução das estruturas de documentos, convenções contábeis, terminologia e instituições ao longo de mais de dois séculos. Por exemplo, os registros no final dos anos 1700 e início dos anos 1800 frequentemente registram pagamentos a indivíduos. Esses documentos geralmente incluem grandes desdobráveis em formato paisagem, tipografia arcaica como o uso de "s" longo em palavras como “Treaſury” ou “Preſident”, e convenções de escrita históricas como o registro de “do./ditto”, que apresentam novos desafios para as soluções modernas de parsing.

Em meados do século XIX, os dados eram apresentados em formatos de conta T de duas páginas e tabelas densas e pautadas, enquanto o período de relatório mudou de anos civis para anos fiscais. O início dos anos 1900 introduziu novos termos financeiros, como saldos de abertura e fechamento, dotações plurianuais e convenções de superávit e déficit.

Na década de 1980, o Combined Statement havia evoluído para um relatório anual com um apêndice detalhado. Os relatórios tornaram-se digitalmente nativos no início dos anos 2000 e começaram a incorporar gráficos visuais ao lado de um sumário padronizado.

O OfficeQA Pro V2 baseia-se nas complexidades do Accounts of Receipts and Expenditures, criando um teste de estresse especialmente exigente para o raciocínio fundamentado. Em todo o corpus, o mesmo conceito financeiro pode mudar de nome, localização, esquema de tabela, unidade, base temporal e nível de agregação. Além de analisar documentos e recuperar valores, isso significa que os agentes devem reconciliar informações entre convenções de relatórios em constante mudança – uma complexidade típica em ambientes corporativos.

Conclusão e agradecimentos

O benchmark e o corpus analisado já estão disponíveis publicamente no Hugging Face, com o código de avaliação disponível no GitHub. Incentivamos pesquisadores e profissionais a avaliarem seus próprios sistemas de agentes no OfficeQA Pro V2 e recomendamos seu uso como um conjunto de testes para o OfficeQA Pro. Para desenvolvedores corporativos, o OfficeQA Pro V2 pode servir como um ambiente de testes para criar agentes que precisam responder a perguntas complexas em grandes coleções de documentos heterogêneos. As equipes podem usá-lo para comparar modelos e arquiteturas de agentes, identificar se as falhas se originam na análise, recuperação, raciocínio ou verificação, e medir como as mudanças em seus sistemas afetam a precisão, a latência e o custo antes de aplicar essas abordagens aos seus próprios dados corporativos. Por fim, deixamos três pontos principais para os leitores:

1. Avaliações representativas são essenciais, e os dados sintéticos podem ajudar a dimensioná-las. Os agentes de fronteira ainda enfrentam dificuldades com fluxos de trabalho corporativos prontos para uso, tornando essencial avaliar os sistemas em tarefas que reflitam a complexidade do mundo real e testar se as melhorias se generalizam para cenários desconhecidos. Na Databricks, combinamos técnicas de dados sintéticos com nossa compreensão dos fluxos de trabalho dos clientes para criar avaliações representativas como o OfficeQA Pro V2 de forma mais eficiente e em maior escala.
2. Uma estrutura de agente otimizada é fundamental para alcançar o melhor desempenho. A transição das estruturas de referência dos provedores de modelos para o Databricks Genie melhorou o desempenho em 24,0 pontos percentuais em média (+92% relativo) nos modelos avaliados. Esses resultados demonstram que o processamento de documentos, a recuperação, o uso de ferramentas e as escolhas de orquestração podem afetar substancialmente a precisão e a eficiência dos sistemas de raciocínio fundamentado.
3. O raciocínio fundamentado ainda tem uma margem significativa para melhorias. Embora as otimizações de estrutura tenham gerado ganhos substanciais em relação às referências prontas para uso, até mesmo os sistemas mais robustos continuaram a enfrentar desafios como a análise fiel de documentos, a reconciliação de valores ao longo do tempo e a recuperação dos valores revisados mais recentes. O progresso contínuo exigirá inovações em toda a pilha de agentes, desde a análise e recuperação até a análise e verificação.

Agradecemos à USAFacts por sua parceria contínua no conjunto de benchmarks OfficeQA, incluindo nos ajudar a identificar o novo corpus, desenvolver tópicos e perguntas analíticas representativas e organizar a Grounded Reasoning Cup. Também agradecemos ao Tesouro dos EUA por ajudar a identificar o U.S. Accounts of Receipts and Expenditures como base para o benchmark da competição e por lançar o conjunto de dados como uma coleção coesa pela primeira vez.

Autores: Krista Opsahl-Ong, Arnav Singhvi, Josh Joseph, Jasmine Collins, Ivan Zhou, Shubham Toshniwal, Michael Bendersky, Erich Elsen, Xing Chen, Matei Zaharia

Se quiser saber mais e começar a usar o OfficeQA Pro V2, confira o benchmark no Hugging Face.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original