OfficeQA Pro V2를 소개합니다: 기업용 근거 기반 추론을 위한 새로운 벤치마크

오늘 저희는 AI 에이전트가 낯선 기업형 근거 기반 추론(grounded-reasoning) 작업에 얼마나 잘 일반화할 수 있는지 평가하기 위해 설계된 새로운 벤치마크인 OfficeQA Pro V2를 출시합니다.

7개월 전, 저희는 AI 시스템이 대규모 문서 모음의 증거를 활용해 분석적 질문에 얼마나 잘 답변하는지 측정하기 위해 OfficeQA 벤치마크를 소개했습니다. 이는 에이전트들이 어려움을 겪는 매우 흔하고 중요한 기업용 작업입니다. 출시 이후 OfficeQA와 그 프론티어 하위 집합인 OfficeQA Pro는 프론티어 모델 및 에이전트 역량을 측정하는 중요한 지표가 되었으며, 문서 검색, 파싱, 분석적 추론 분야의 발전을 이끌었습니다. 하지만 이러한 발전은 한 가지 근본적인 질문을 던집니다. 과연 이러한 개선이 근거 기반 추론 전반의 광범위한 발전을 반영하는 것일까요, 아니면 특정 코퍼스 및 작업 분포에 국한된 발전일까요? 에이전트가 단일하고 안정적인 문서 모음에서만 작동하는 경우가 거의 없는 기업 환경에서는 이러한 구분이 매우 중요합니다.

저희의 새로운 벤치마크인 OfficeQA Pro V2는 이러한 일반화 능력을 직접 테스트하도록 설계되었습니다. 저희는 처음에 OpenAI, Anthropic, Google DeepMind의 지원을 받는 11개 학술 팀이 이전에 본 적 없는 코퍼스와 근거 기반 추론 작업 세트에서 에이전트를 빌드하고 평가받는 실시간 경쟁 대회인 제1회 Databricks Grounded Reasoning Cup의 벤치마크로 OfficeQA Pro V2를 개발했습니다. 이 벤치마크에는 미국 건국 250주년을 기념하여 미국 재무부가 처음으로 통합 데이터 세트로 공개한 미국 재무부 수입 및 지출 계정(Accounts of Receipts and Expenditures)의 약 120,000페이지에 근거한 90개의 질문이 포함되어 있습니다. 이제 더 많은 AI 실무자들이 자체 개발에 활용할 수 있도록 이 벤치마크를 공개하게 되어 기쁩니다.

OfficeQA Pro V2는 오늘날의 AI 시스템에게 여전히 까다로운 과제입니다. Claude Opus 4.8 및 Claude Fable 5와 함께 Claude Code를 사용하거나, GPT-5.5 및 GPT-5.6 Sol과 함께 Codex를 사용하는 기본 제공 프론티어 에이전트는 평균 37.5%의 정확도를 기록했습니다. Grounded Reasoning Cup을 위해 특별히 개발된 에이전트들은 평균 41.1%로 더 나은 성능을 보였으며, 우승 팀은 63.3%에 도달했습니다. 저희는 또한 동일한 기본 모델을 사용하여 기업 데이터에 대한 복잡한 질문에 답변하도록 설계된 Databricks의 AI 에이전트인 Databricks Genie를 평가했습니다. 문서 코퍼스를 사전 파싱하기 위해 Databricks의 ai_parse를 사용하는 Genie는 기본 하네스 대비 정확도를 평균 24.0%포인트 향상시켰으며, 가장 강력한 구성에서는 60%에 도달했습니다. 이러한 결과는 근거 기반 추론이 아직 해결해야 할 과제가 많지만, 적절한 에이전트 하네스를 사용하면 기존 프론티어 모델에서 상당한 성능 향상을 이끌어낼 수 있음을 보여줍니다.

아래에서는 에이전트가 OfficeQA Pro V2에서 어떻게 작동하는지, 어떻게 구축되었는지, 그리고 기존 OfficeQA 벤치마크와 어떻게 다른지 자세히 설명합니다.

OfficeQA Pro V2에서의 에이전트 성능

저희는 먼저 각 모델 제공업체의 관련 하네스(GPT 모델의 경우 Codex, Claude 모델의 경우 Claude Code)를 사용하여 프론티어 모델을 평가했습니다. 이때 OfficeQA에 사용된 것과 동일한 0.0% 허용 오차의 결정론적 exact-match 메트릭을 사용했습니다. 두 하네스에서 평가된 5개 모델 전반에서 이러한 기본 구성은 평균 26.0%의 정확도를 달성했습니다. 성능은 모델에 따라 크게 달랐으며, 비용이 높다고 해서 항상 정확도가 높아지는 것은 아니었습니다. 예를 들어, Claude Code의 Sonnet 5는 롤아웃당 5.01달러에서 15.6%를 기록한 반면, Codex의 GPT-5.6 Sol은 비슷한 비용인 4.70달러에서 33.3%에 도달했습니다.

Genie 내에서 이러한 모델을 사용하면 상당한 이점을 얻을 수 있었습니다. 일치하는 모델 비교 전반에서 Genie는 정확도를 평균 24.0%포인트(상대적 개선율 92%) 향상시켰습니다. GPT-5.6 Luna, GPT-5.6 Terra, Claude Fable 5를 사용하는 Genie 구성 역시 비용 대비 품질 파레토 프론티어(Pareto frontier)를 지배하며, 이러한 개선을 위해 효율성과 정확도를 타협할 필요가 없음을 입증했습니다. Claude Fable 5의 경우, Genie로 전환하면 성능이 14.4%포인트(상대적 +32%) 향상되는 동시에 비용은 약 9배 절감됩니다. 추적(trace)을 검사한 결과, Fable 5는 많은 문서를 파싱하기 위해 루프를 반복하는 경향이 있어 평균 37.36달러의 비용이 드는 긴 롤아웃이 발생한다는 것을 발견했습니다. Genie는 ai_parse 문서를 사용하여 문서를 파싱하므로, 모델이 각 페이지에서 올바른 정보를 효율적으로 식별할 수 있어 비용을 절감하고 성능을 향상시킵니다.

이러한 하네스 개선으로 상당한 성과를 거두었지만, OfficeQA Pro V2에는 여전히 개선할 수 있는 여지가 많이 남아 있습니다. 시스템은 기존 OfficeQA에서 관찰했던 것과 유사한 실패 모드(파싱 정확도, 시간이 지남에 따라 회계 관행이 변함에 따른 잘못된 시간적 조정, 엔티티 범위 또는 카테고리 세분성에 대한 오해 등)를 계속해서 보여주고 있습니다.

새로운 근거 기반 추론 벤치마크 구축

일반화 능력을 진정으로 테스트하려면 복잡한 문서 파싱, 올바른 증거 검색, 해당 정보에 기반한 분석적 추론 수행 등 OfficeQA가 측정하도록 설계된 것과 동일한 기업 관련 역량을 반영하는 새로운 코퍼스가 필요했습니다.

저희는 미국 재무부와 협력하여 새로운 코퍼스를 중심으로 벤치마크를 구축했습니다. 바로 미국 재무부가 건국 250주년을 기념하여 처음으로 통합 데이터 세트로 출시할 준비를 하고 있던 미국 연방 수입 및 지출 계정(U.S. Federal Accounts of Receipts and Expenditures)입니다. 이 코퍼스는 1793년부터 2024년까지의 상세한 미국 회계 기록이 담긴 약 1,400개의 PDF와 120,000페이지로 구성되어 있습니다.

기존 OfficeQA 벤치마크에 사용된 미국 재무부 회보(U.S. Treasury Bulletins)와 마찬가지로, 이 새로운 코퍼스는 복잡한 표와 차트, 시간 경과에 따른 값의 수정, 진화하는 보고 관행, 깊은 제도적 지식 등 기업 문서 모음에서 흔히 발생하는 많은 과제를 반영합니다. 이러한 복잡성은 까다로운 평가로 이어집니다. 기존 OfficeQA 벤치마크와 마찬가지로, 기본 프론티어 에이전트가 OfficeQA Pro V2에서 일관되게 높은 정확도를 달성하는 데 어려움을 겪는 것을 확인했습니다.

합성 데이터로 OfficeQA Pro V2 확장하기

2025년 말에 기존 OfficeQA 벤치마크를 만들었을 때 그 과정은 매우 수동적이었습니다. 사람 어노테이터(annotator)들이 89,000페이지에 달하는 미국 재무부 회보 코퍼스를 샅샅이 뒤지며 직접 질문과 답변을 구성했고, 질문의 품질을 보장하기 위해 여러 차례의 사람 검토를 거쳐야 하는 경우가 많았습니다. 이 접근 방식은 결국 고품질의 벤치마크를 만들어냈지만, 시간이 많이 걸리고 비용이 많이 들며 확장하기 어려웠습니다. 그 이후로 저희는 엄격한 벤치마크 생성을 훨씬 더 효율적이고 안정적으로 자동화하는 기술을 개발했습니다.

OfficeQA Pro V2를 구축하기 위해 저희는 합성 데이터 생성 파이프라인을 구축하기 위한 내부 라이브러리인 asynth를 활용했습니다. 이를 통해 질문을 생성하고 심사하는 체계적인 프로세스를 사용하여 근거 기반 추론의 과제를 정확하게 반영하는 다양하고 검증 가능한 벤치마크를 빠르고 확장 가능한 방식으로 만들 수 있었습니다.

1. 입력(Inputs). 샘플의 다양성을 촉진하기 위해, 분석가들이 코퍼스에 대해 자연스럽게 제기할 수 있는 질문을 반영하도록 파트너인 USAFacts와 함께 개발한 목록에서 무작위로 선택된 기간, 분석 방법, 대상 소스 문서 수, 핵심 주제를 합성기(synthesizer)의 시드(seed)로 입력했습니다.
2. 합성(Synthesis). 각 후보 질문에 대해, 합성 에이전트는 코퍼스에서 이러한 기준에 부합하는 증거를 검색하고 추적 가능한 근거 기반 추론 체인으로 뒷받침되는 샘플을 생성했습니다.
3. 검증. 다음으로, 샘플은 출처 충실도, 분석적 관련성, 다양성 및 답변 가능성을 감사하기 위해 여러 품질 게이트를 거쳤습니다. 독립적인 솔버 에이전트가 처음부터 문제를 시도하여 대체 솔루션 경로를 생성했고, 이를 검증 에이전트가 검토했습니다. 검증 가능하게 정답인 후보만 다음 단계로 진행되었습니다.
4. 최종 검토. 마지막 품질 관리 단계로, 추가적인 프런티어 모델이 생성한 솔루션과 함께 샘플을 수동으로 검토했습니다. 검토자들은 질문, 답변, 추론 및 인용된 근거를 함께 검토하여 해석과 그라운드 트루스(ground truth)가 명백히 정확한 샘플만 남겼습니다.

그 결과로 나온 질문들은 기존 OfficeQA 벤치마크에서 측정하는 핵심적인 근거 기반 추론(grounded-reasoning) 능력을 동일하게 요구합니다. 여기에는 여러 소스 문서에 걸친 검색, 분석적 추론, 그리고 보완적인 웹 검색 및 그림의 멀티모달 해석과 같은 특화된 능력이 포함됩니다. 벤치마크의 예시 질문과 구성에 대한 자세한 내용은 아래에서 확인할 수 있습니다.

예시 질문

1. 낮은 난이도: 대법원장 급여 계산: “CY 1793년 하반기 미국의 수입 및 지출 계정(Account of Receipts and Expenditures)에 따른 존 제이(John Jay)의 연방 대법원장 급여의 총 명목 달러 가치는 얼마이며, 해당 지급에 대응하는 지급 보증서(warrant) 번호는 무엇인가요? 답변은 대괄호 안에 그가 받은 급여 값과 달러 지급 보증서 번호를 달력 연도 순서대로 쉼표로 구분하여 반환하세요.”

이 질문은 1793년 수입 및 지출 계정 페이지 하나를 찾아 대법원장 존 제이에게 기록된 4건의 지급 보증서 지급 내역(빨간색으로 강조 표시됨)을 읽는 동시에, "do."가 "ditto(상동)"의 약어로서 이전 행과 동일한 데이터 범주를 나타낸다는 것을 올바르게 해석해야 합니다. 그런 다음 질문은 “CY 1793년 하반기”가 답변 범위를 7월 및 11월 지급 내역으로만 제한한다는 것을 이해해야 합니다. 마지막으로, 최종 답변을 계산하려면 해당하는 지급 보증서 번호의 검색과 간단한 합산이 필요합니다.

2. 중간 난이도: 메디케어 지출 증가 예측: “FY1990부터 FY1994까지(해당 연도 포함) 프로그램이 확장됨에 따라 메디케어(Medicare) 지출이 빠르게 증가했습니다. 해당 회계연도의 보고된 연간 메디케어 지출 수치에 OLS 선형 회귀를 적합할 때, 백만 달러 단위로 보고되고 소수점 둘째 자리에서 반올림한 메디케어 지출의 추정 평균 연간 달러 증가액은 얼마인가요?”

이 질문은 5개의 개별 연도 종합 명세서(Combined Statements)(FY1990~FY1994, 빨간색으로 강조 표시됨)의 "기능별 지출(Outlays by Function)" 표에서 메디케어 지출 수치를 검색해야 합니다. 중요한 점은 에이전트가 처음 보고된 수치가 아니라 가장 최근에 수정된 전년도 열에서 각 연도의 값을 읽어야 한다는 것입니다. 마지막으로, 에이전트는 평균 연간 증가율을 추정하기 위해 시계열에 선형 회귀 모델을 적합해야 합니다.

3. 높은 난이도: 여러 기관의 지출 증가 예측: “미 재무부에서 보고한 구성 재무부 계정 기호(TAS) 패밀리에서 취합한 상무부, 내무부, 국무부, 환경보호청(EPA) 및 항공우주국(NASA)의 합산 순지출에 대해, 보고된 지출에 표준 비계절성 세타(Theta) 방법을 적합하세요. 즉, θ=0 구성 요소를 OLS 선형 추세로 추정하고, θ=2 변환된 시계열을 구성하고, 첫 번째 값에서 초기화된 단순 지수 평활법으로 해당 구성 요소를 예측하고, α = 1.0을 허용하여 [0, 1] 범위에서 α를 선택하세요. 이 예측을 사용하고 θ=0 및 θ=2의 1단계 앞선(one-step-ahead) 예측을 평균할 때, 소수점 둘째 자리에서 반올림한 백만 달러 단위의 FY1989 예측값은 얼마인가요?”

이 질문은 8개의 개별 종합 명세서에서 5개 기관(상무부, 내무부, 국무부, EPA, NASA)의 8개년(FY1981~FY1988) 순지출 시계열을 구성해야 합니다. 이번에도 에이전트는 각 연도에 대해 가장 최근에 보고된 수치만 사용해야 합니다. 그런 다음 결과 시계열을 사용하여 특정 예측 방법을 통해 FY1989의 순지출을 예측해야 합니다.

벤치마크 상세 정보

OfficeQA Pro V2는 90개의 질문으로 구성되어 있으며, 모든 질문은 벤치마크 코퍼스의 근거를 필요로 합니다. 합성 데이터 검증 파이프라인의 일부로, 파라미터 지식(parametric knowledge)이나 웹 검색만으로 답변할 수 있는 질문은 필터링하여 제외했습니다.

새로운 코퍼스를 기반으로 구축되었지만, OfficeQA Pro V2는 전체 질문 세트인 OfficeQA Full과 프런티어 난이도 하위 세트인 OfficeQA Pro 모두에서 기존 OfficeQA 벤치마크가 측정하는 핵심 기업용 근거 기반 추론 능력을 그대로 유지합니다. 질문의 7%는 차트, 그래프 또는 그림에 대한 시각적 이해를 요구하며, 이는 OfficeQA Pro의 약 3%와 비교됩니다. 다른 10%는 웹 검색을 통해 얻은 보완 정보(예: 인플레이션 지수, GDP 시계열 또는 인구 수치)를 필요로 하며, 이는 OfficeQA Pro의 21.8%, OfficeQA Full의 15.9%와 비교됩니다. 종합하면, OfficeQA Pro V2 질문 6개 중 약 1개는 텍스트 검색 및 분석을 넘어 이러한 특화된 능력 중 하나 이상을 요구합니다.

OfficeQA Pro와 비교할 때, OfficeQA Pro V2는 질문당 훨씬 더 많은 소스 문서의 근거를 요구합니다. OfficeQA Pro 질문은 평균 약 2개의 재무부 회보(Treasury Bulletin) 문서를 참조하는 반면, OfficeQA Pro V2 질문은 평균 6.7개의 소스 문서에서 근거를 필요로 하며, 중앙값은 5.5개, 최대값은 24개입니다. 전체적으로 OfficeQA Pro V2 질문의 74.4%가 4개 이상의 소스를 요구하는 반면, OfficeQA Pro는 62.4%, OfficeQA Full은 56.1%입니다.

종합적으로 이러한 특징 덕분에 OfficeQA Pro V2는 기존 벤치마크보다 엔드투엔드(end-to-end) 근거 기반 추론을 더 까다롭게 테스트하는 동시에, 기업 워크플로에서 발견되는 분석, 멀티모달 및 외부 지식 요구 사항의 현실적인 조합을 그대로 유지합니다. 이 벤치마크가 왜 여전히 까다로운지 이해하려면, 기반이 되는 문서와 보고 관행이 시간이 지남에 따라 얼마나 극적으로 진화했는지 살펴보는 것이 도움이 됩니다.

2세기가 넘는 역사를 아우르는 코퍼스

232년에 걸친 미국 연방 재무 보고를 아우르는 이 코퍼스는 2세기 이상 동안 문서 구조, 회계 관행, 용어 및 기관의 진화 과정도 포착합니다. 예를 들어, 1700년대 후반과 1800년대 초반의 기록에는 개인에 대한 지급 내역이 기록되어 있는 경우가 많습니다. 이러한 문서에는 가로로 넓은 접지 페이지, “Treaſury” 또는 “Preſident”와 같은 단어에서 긴 s(long-s)를 사용하는 것과 같은 고어체 타이포그래피, “do./ditto”를 기록하는 것과 같은 역사적 표기 관행이 포함되어 있는 경우가 많아 현대적인 파싱 솔루션에 새로운 과제를 제기합니다.

19세기 중반에 이르러 데이터는 양면 T-계정 형식과 조밀한 줄이 그어진 표로 제공되었으며, 보고 기간은 달력 연도에서 회계연도로 변경되었습니다. 이후 1900년대 초에는 기초 및 기말 잔액, 다년도 예산 배정, 흑자 및 적자 관행과 같은 새로운 재무 용어가 도입되었습니다.

1980년대에 이르러 Combined Statement는 상세한 부록을 포함한 연례 보고서로 발전했습니다. 이 보고서들은 2000년대 초에 디지털 네이티브 방식으로 전환되었으며, 표준화된 목차와 함께 시각적 차트를 통합하기 시작했습니다.

OfficeQA Pro V2는 세입세출 결산 보고서(Accounts of Receipts and Expenditures)의 복잡성을 기반으로 구축되어, 근거 기반 추론(grounded reasoning)에 특히 까다로운 스트레스 테스트를 제공합니다. 전체 코퍼스에 걸쳐 동일한 재무 개념이라도 이름, 위치, 테이블 스키마, 단위, 시간 기준, 집계 수준이 달라질 수 있습니다. 문서를 파싱하고 값을 검색하는 것 외에도, 에이전트가 변화하는 보고 규칙에 맞춰 정보를 조정해야 함을 의미하며, 이는 엔터프라이즈 환경에서 흔히 발생하는 복잡성입니다.

결론 및 감사의 글

벤치마크와 파싱된 코퍼스는 현재 Hugging Face에서 공개적으로 사용할 수 있으며, 평가 코드는 GitHub에서 확인할 수 있습니다. 연구자와 실무자 여러분이 OfficeQA Pro V2에서 자체 에이전트 시스템을 평가해 보시기를 권장하며, 이를 OfficeQA Pro의 테스트 세트로 사용할 것을 추천합니다. 엔터프라이즈 개발자에게 OfficeQA Pro V2는 대규모의 다양한 문서 컬렉션에서 복잡한 질문에 답해야 하는 에이전트를 구축하기 위한 테스트베드 역할을 할 수 있습니다. 팀에서는 이를 통해 모델과 에이전트 아키텍처를 비교하고, 오류가 파싱, 검색, 추론, 검증 중 어디에서 발생하는지 식별하며, 이러한 접근 방식을 자체 엔터프라이즈 데이터에 적용하기 전에 시스템 변경이 정확도, 대기 시간 및 비용에 미치는 영향을 측정할 수 있습니다. 마지막으로 독자 여러분을 위한 세 가지 핵심 요점은 다음과 같습니다:

1. 대표성 있는 평가는 필수적이며, 합성 데이터는 이를 확장하는 데 도움이 됩니다. 최첨단 에이전트는 여전히 기본 상태에서 엔터프라이즈 워크플로를 처리하는 데 어려움을 겪고 있으므로, 실제 복잡성을 반영하는 작업에서 시스템을 평가하고 개선 사항이 익숙하지 않은 환경에서도 일반화되는지 테스트하는 것이 중요합니다. Databricks에서는 합성 데이터 기술과 고객 워크플로에 대한 이해를 결합하여 OfficeQA Pro V2와 같은 대표성 있는 평가를 더 효율적이고 대규모로 구축합니다.
2. 최상의 성능을 달성하려면 최적화된 에이전트 하네스가 중요합니다. 모델 제공업체의 기본 하네스에서 Databricks Genie로 전환한 결과, 평가된 모델 전체에서 성능이 평균 24.0퍼센트 포인트(상대적 +92%) 향상되었습니다. 이러한 결과는 문서 처리, 검색, 도구 사용 및 오케스트레이션 선택이 근거 기반 추론 시스템의 정확도와 효율성 모두에 상당한 영향을 미칠 수 있음을 보여줍니다.
3. 근거 기반 추론은 여전히 개선할 여지가 많습니다. 하네스 최적화를 통해 기본 베이스라인 대비 상당한 성능 향상을 이루었지만, 가장 강력한 시스템조차도 정확한 문서 파싱, 시간에 따른 값 조정, 최신 수정 수치 검색과 같은 과제에 여전히 어려움을 겪고 있습니다. 지속적인 발전을 위해서는 파싱 및 검색부터 분석 및 검증에 이르기까지 전체 에이전트 스택 전반에 걸친 혁신이 필요합니다.

새로운 코퍼스 식별, 대표적인 분석 주제 및 질문 개발, Grounded Reasoning Cup 조직을 포함하여 OfficeQA 벤치마크 제품군에서 지속적으로 협력해 주신 USAFacts에 감사드립니다. 또한, 대회 벤치마크의 기초로서 미국 세입세출 결산 보고서(U.S. Accounts of Receipts and Expenditures)를 식별하는 데 도움을 주고, 이 데이터셋을 처음으로 통합된 컬렉션으로 공개해 준 미국 재무부에도 감사드립니다.

저자: Krista Opsahl-Ong, Arnav Singhvi, Josh Joseph, Jasmine Collins, Ivan Zhou, Shubham Toshniwal, Michael Bendersky, Erich Elsen, Xing Chen, Matei Zaharia

OfficeQA Pro V2에 대해 자세히 알아보고 시작하려면 Hugging Face에서 벤치마크를 확인해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)