Databricks Document Intelligence：複雑なドキュメント抽出の最先端を切り拓く

すべての企業には、整理されていない非構造化ドキュメントの中に、価値あるデータが埋もれています。現在、Databricks Document Intelligenceは、何千ものお客様がデータを活用できるよう支援しており、何十億ページものドキュメントを構造化データに変換して、本番環境のパイプライン、エージェント、およびアプリケーションを稼働させています。Panasonic、EY-Parthenon、Intercontinental Exchange (NYSE)などのお客様は、最も要件の厳しいワークフローにDocument Intelligenceを使用し、毎週数百万ものドキュメントを処理しています。

お客様と連携する中で、既存の大規模言語モデル（LLM）やルールベースのドキュメント抽出ソリューションでは対応しきれない、いくつかの困難な抽出課題があることに気づきました。

• 長文ドキュメント：1ページの更新条件が80ページの条項に依存している賃貸借契約書や、150ページの段落が3ページの用語を再定義している合意書など。既存のソリューションでは、こうした相互参照を解決できません。
• 大規模でネストされた出力：数百のSKUを含む複数ページの船荷証券や、数千の明細行を含む請求書など。既存のソリューションでは、出力が大きくなるとフィールドが脱落したり切り捨てられたりします。
• 複雑なスキーマと推論：3つの財務諸表を統合するリスク分類や、記録されたすべての価格に記載された割引を適用する契約金額など。既存のソリューションでは、ドキュメント全体で正しいロジックを一貫して適用することができません。

本日、ドキュメント抽出APIであるai_extractに「Precision Mode（高精度モード）」を導入することを発表いたします。これにより、最も複雑な企業のドキュメントやタスクにおける精度の基準が刷新されます。

Precision Modeは、ドキュメント抽出用にカスタムトレーニングされたモデルとエージェントハーネスを組み合わせることで、長文ドキュメント、大規模な出力、および推論負荷の高いスキーマにおいて、信頼性の高い正確な抽出を実現します。約9,000件の複雑なドキュメントを対象としたベンチマークにおいて、Precision Modeは最先端（SOTA）の品質を達成し、最新のフロンティアモデルの抽出精度を大幅に上回りました。

"Intercontinental Exchangeでは、毎月、複雑で非常に多様な数百万もの財務ドキュメントを処理しています。Document Intelligenceは、その複雑さを構造化された市場インテリジェンスに変換するのに役立っており、これにより迅速な対応、クライアントへのさらなる価値の提供、そして大規模な分析と意思決定を加速するエージェントワークフローの実現が可能になりました。"—Anand Pradhan氏（Intercontinental Exchange (NYSE) 住宅ローンデータ部門 CTO兼AI責任者）

複雑なドキュメント抽出への新しいアプローチ

最も困難な抽出タスクにおける精度を向上させるため、当社のリサーチおよびエンジニアリングチームは、モデル自体のカスタマイズと、モデルを囲む効果的なエージェントハーネスの構築という2つのレイヤーからドキュメント抽出の品質にアプローチしました。

• ドキュメント抽出用にカスタムの効率的なモデルをトレーニングしました。困難な顧客ワークフローに基づいて構築されたベンチマークから、当社のリサーチチームは、複雑なドキュメントから構造化された情報を見つけ、推論し、抽出するためのカスタムモデルをトレーニングしました。ますます巨大化する汎用モデルに頼るのではなく、解決したいタスクである「正確な構造化抽出」に最適化しました。
• モデルの失敗モードを克服するために設計された抽出ハーネスを構築しました。強力なモデルであっても、数百ページにわたる推論や、一度に数千のフィールドを生成する必要がある場合には苦戦することがあります。当社のチームは、DatabricksのMemExに着想を得たエージェントハーネスを構築しました。これは、大規模な抽出ジョブをセマンティックに分解し、小さなタスクを並列で実行し、中間結果を保存して、それらを1つの最終的な構造化出力に統合します。

評価方法

ベンチマーク設計とデータセット構成

Precision Modeを検証するため、既存のアプローチの限界に挑むワークフローを中心に評価ベンチマークを設計しました。

具体的には、解決するために設計された3つの抽出課題にわたる、約9,000件のドキュメントでPrecision Modeを評価しました。この評価には、最大2,000ページのドキュメント、数千の明細行を含む請求書、高密度な複数ページの表やグラフ、300以上の深くネストされたフィールドを持つスキーマ、およびドキュメント全体で情報を相互参照する必要がある推論負荷の高いタスクが含まれます。

ドキュメントは、次の2つのベンチマークセットから構成されています。

• 金融サービス、製造、ヘルスケアなどの主要業界にわたる、これまでに経験した最も困難な顧客ワークフローに着想を得た10の社内データセット。
• 5つの公開ベンチマーク：VAREX、 RealDocBench、LongExtractBench、およびLEDGER、およびCaselaw Access Projectデータセットを使用した長文ドキュメントのストレステスト。

これらのデータセットは、10-K年次報告書、船荷証券、技術マニュアル、財務書類、臨床記録、政府の特許や資金援助の申請書などのドキュメントを網羅しています。

ベースライン設計とモデル比較

ドキュメント抽出の自然な出発点は、単一のフロンティアモデル呼び出しです。つまり、ドキュメントとスキーマを渡し、モデルに構造化出力を返すよう要求することです。しかし、評価対象となる高密度で複雑なワークフローでは、そのアプローチはすぐに破綻します。長文ドキュメントはモデルのコンテキスト制限を超える可能性があり、不正確で不完全な結果を招きます。

そこで、より強力で現実的なベースラインである「分割と統合（chunk-and-merge）」と比較してベンチマークを行いました。各ドキュメントを小さなチャンクに分割し、それぞれから独立して抽出し、その結果を最終的な出力に統合します。これは、単一のモデル呼び出しでは不十分な場合にエンジニアが使用する一般的なパターンと同じです。

デフォルトのAPI設定で、主要なGPT、Claude、Geminiモデルを使用して分割と統合アプローチをテストしました。その後、それぞれの抽出精度をPrecision Modeと比較しました。¹

ベンチマーク結果

ベンチマーク全体において、Precision Modeは94.7%の精度を達成し、最も強力なフロンティアモデルの分割と統合ベースラインであるGPT-5.6 Solを7ポイント上回りました。

特に、困難な長文ドキュメントのワークフローにおいて、フロンティアモデルでは、チャンクのタイムアウト、出力の切り捨て、要求されたスキーマに準拠しない不完全な最終統合など、多くの運用上の失敗モードが発生することが観察されました。一方で、Precision Modeのエージェントアプローチはこれらの失敗モードに対して堅牢であり、カスタムトレーニングされた抽出モデルにより、効率的かつ正確な抽出が維持されます。

開始方法

最も複雑なドキュメント抽出タスク向けに、AI Extract Precision Modeが利用可能になりました。ai_extract関数を呼び出す際にモードをprecisionに設定するか、AgentsページのInformation Extraction UIでPrecision Modeのトグルをオンにしてください。

AI Extract Precision Modeを試す

脚注：

¹ 正解率は、抽出されたオブジェクトのうち、グラウンドトゥルース（正解）オブジェクトと一致する割合として定義されます。スコアリングはデータ型によって異なります。プリミティブ型（ブーリアン、浮動小数点数、整数、列挙型）は直接一致を使用します。文字列は、まず直接一致を試み、次にファジーマッチ、最後にLLMによる判定を行います。配列は、予測された項目と期待される項目の間で最も近いペアを見つけ、それらのペア全体の平均を算出することでスコアリングされます。オブジェクトは、フィールドごとにデータ型に応じてスコアリングされ、すべてのフィールドで平均化されます。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事