AI Extract의 Precision Mode를 소개합니다. 기존 방 식으로는 한계가 있었던 긴 문서와 복잡한 스키마에서 프론티어 수준의 정확도를 달성해 보세요.
작성자: Jane Zhang, Arnav Singhvi, Ivan Zhou, Archika Dogra, Matthew Ding , Nihit Desai
모든 기업에는 복잡하고 비정형화된 문서 속에 갇혀 있는 가치 있는 데이터가 있습니다. 현재 Databricks Document Intelligence는 수천 명의 고객이 데이터를 활용할 수 있도록 지원하며, 수십억 페이지를 프로덕션 파이프라인, 에이전트 및 애플리케이션을 구동하는 정형 데이터로 변환하고 있습니다. Panasonic, EY-Parthenon, Intercontinental Exchange (NYSE)와 같은 고객들은 가장 까다로운 워크플로에 Document Intelligence를 사용하여 매주 수백만 개의 문서를 처리하고 있습니다.
고객과 협력하는 과정에서 기존의 대규모 언어 모델(LLM) 또는 규칙 기반 문서 추출 솔루션으로는 해결하기 어려운 몇 가지 까다로운 추출 문제를 발견했습니다.
오늘 당사의 문서 추출 API인 ai_extract에 정밀 모드(Precision Mode)를 도입하게 되어 기쁘게 생각하며, 이를 통해 가장 복잡한 기업 문서 및 작업에 대한 정확도의 새로운 기준을 제시하고자 합니다.

정밀 모드는 문서 추출을 위해 맞춤 학습된 자체 모델과 에이전트 하네스(agentic harness)를 결합하여 장문 문서, 대규모 출력 및 추론이 많이 필요한 스키마에서 안정적이고 정확한 추출을 제공합니다. 약 9,000개의 복잡한 문서를 대상으로 한 벤치마크 전반에서 정밀 모드는 최신 프론티어 모델의 추출 정확도를 크게 능가하며 최고 수준(SOTA)의 품질을 달성했습니다.
"Intercontinental Exchange에서는 매달 수백만 개의 복잡하고 가변성이 높은 금융 문서를 처리합니다. Document Intelligence는 이러한 복잡성을 정형화된 시장 인텔리전스로 전환하여, 당사가 더 빠르게 움직이고 고객에게 더 큰 가치를 제공하며 대규모 분석 및 의사 결정을 가속화하는 에이전트 워크플로를 실현할 수 있도록 지원합니다."- Anand Pradhan, Intercontinental Exchange (NYSE) 모기지 데이터 부문 CTO 겸 AI 책임자
가장 까다로운 추출 작업의 정확도를 높이기 위해 당사의 연구 및 엔지니어링 팀은 모델 자체를 맞춤화하는 것과 모델 주변에 효과적인 에이전트 하네스를 구축하는 것의 두 가지 레이어로 문서 추출 품질에 접근했습니다.
정밀 모드를 검증하기 위해 기존 접근 방식의 한계를 시험하는 워크로드를 중심으로 평가 벤치마크를 설계했습니다.
구체적으로, 정밀 모드가 해결하도록 설계된 세 가지 추출 과제에 걸쳐 약 9,000개의 문서를 대상으로 평가를 진행했습니다. 이 평가에는 최대 2,000페이지에 달하는 문서, 수천 개의 품목이 포함된 인보이스, 조밀한 다중 페이지 표 및 차트, 300개 이상의 깊게 중첩된 필드가 있는 스키마, 문서 전체에서 정보를 상호 참조해야 하는 추론 중심의 작업이 포함됩니다.
문서는 다음 두 가지 벤치마크 세트에서 가져왔습니다.
이러한 데이터 세트에는 10-K 보고서, 선하증권, 기술 매뉴얼, 금융 문서, 임상 기록, 정부 특허 및 자금 지원 신청서 등이 포함됩니다.
문서 추출의 자연스러운 시작점은 단일 프론티어 모델 호출입니다. 즉, 문서와 스키마를 전달하고 모델에 정형 출력을 반환하도록 요청하는 것입니다. 하지만 당사가 평가하는 조밀하고 복잡한 워크로드에서는 이러한 접근 방식이 금방 한계에 부딪힙니다. 장문 문서는 모델의 컨텍스트 제한을 초과하여 부정확하고 불완전한 결과를 초래할 수 있습니다.
따라서 당사는 더 강력하고 현실적인 베이스라인인 청크 및 병합(chunk-and-merge)을 기준으로 벤치마크를 수행했습니다. 각 문서를 더 작은 청크로 분할하고, 각 청크에서 독립적으로 추출한 다음, 결과를 최종 출력으로 병합하는 방식입니다. 이는 단일 모델 호출만으로는 충분하지 않을 때 엔지니어들이 사용하는 것과 동일한 패턴입니다.
당사는 기본 API 설정을 사용하여 주요 GPT, Claude, Gemini 모델로 청크 및 병합 접근 방식을 테스트했습니다. 그런 다음 각 모델의 추출 정확도를 정밀 모드와 비교했습니다. ¹

벤치마크 전반에서 정밀 모드는 94.7%의 정확도를 달성하여 가장 강력한 프론티어 모델 청크 및 병합 베이스라인인 GPT-5.6 Sol을 7%포인트 차이로 앞섰습니다.
특히 까다로운 장문 문서 워크로드에서 프론티어 모델은 청크 타임아웃, 출력 잘림, 요청된 스키마를 따르지 않는 불완전한 최종 병합 등 수많은 운영상의 실패 모드를 겪는 것을 관찰했습니다. 반면, 정밀 모드의 에이전트 기반 접근 방식은 이러한 실패 모드에 견고하며, 맞춤 학습된 추출 모델은 효율적이고 정확한 추출을 유지합니다.
가장 복잡한 문서 추출 작업을 위한 AI Extract 정밀 모드를 이제 사용할 수 있습니다. ai_extract 함수를 호출할 때 모드를 precision로 설정하거나, 에이전트 페이지의 정보 추출(Information Extraction) UI에서 정밀 모드 토글을 켜세요:

각주:
¹ 정확도는 실제값(ground-truth) 객체와 일치하는 추출된 객체의 비율로 정의됩니다. 점수 측정은 타입에 따라 다릅니다. 기본 타입(boolean, float, integer, enum)은 직접 일치 방식을 사용합니다. 문자열은 먼저 직접 일치를 시도한 후 퍼지 일치(fuzzy match), 그리고 LLM 판정 순으로 진행됩니다. 배열은 예측된 항목과 실제 항목 간에 가장 유사한 쌍을 찾아 매칭한 후, 각 쌍의 점수를 평균하여 계산합니다. 객체는 필드별로 타입에 따라 점수를 매긴 후, 모든 필드의 평균을 계산합니다.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.