なぜエージェントはエンタープライズドキュメントを読み取れないのか — そしてその解決策

最も重要なビジネスインテリジェンスは、単にデータウェアハウスに保存されているだけでなく、契約書、請求書、領収書など、日々企業の基幹業務を支える何百万ものドキュメントに存在します。インテリジェントドキュメント処理（IDP）は、これまで10年間、限定的なバックオフィス業務の自動化問題として扱われてきました。エージェント（AIエージェント）の時代において、その重要性は根本的に異なり、IDPはエージェントが信頼できる意思決定を行うための重要な基盤となります。

保険金請求処理を例にとりましょう。これは、請求書の取り込み、詳細の抽出、異常のフラグ付け、ルーティングといった、理想的なエージェントワークフローです。今日の最先端エージェントは、推論を容易に処理できます。しかし、問題はドキュメントの読解にあります。スキャンされたPDFは、レイアウトの一貫性がなく、ネストされたテーブル、手書きのメモ、ベンダーごとのフォーマットのばらつきがあります。「10,000ドル」が「3,000ドル」と誤読され、エージェントが誤った判断を下し、誤った金額が静かに支払われてしまう可能性があります。

私たちは、このようなパターンがあらゆる場面で見られることを認識しています。エージェントは、クリーンなテキストに対してはうまく推論できますが、実際のエンタープライズドキュメントに直面すると機能しなくなります。数ヶ月前、Databricks AI Researchは、実際のエンタープライズドキュメントワークフローに基づいたベンチマークであるOfficeQAをリリースしました。その結果、非常に高性能な最先端エージェントでさえ、ドキュメント推論タスクの正答率が50％を下回ることがわかりました。ボトルネックは推論ではなく、読解にあったのです。

だからこそ、私たちは、研究に裏打ちされた精度、エンタープライズ規模、そしてエンドツーエンドのシンプルさという3つのコアピラーに基づいたDocument Intelligenceを発表できることを嬉しく思います。

インターコンチネンタル・エクスチェンジでは、毎月数百万もの複雑で変動性の高い金融ドキュメントを処理しています。Document Intelligenceは、その複雑さを構造化された市場インテリジェンスに変換するのに役立ち、より迅速な対応、顧客へのより大きな価値提供、そして分析と意思決定を大規模に加速するエージェントワークフローの実現を可能にします。 — Anand Pradhan氏、CTO兼AI担当、モーゲージデータ担当、インターコンチネンタル・エクスチェンジ（NYSE）

実際のエンタープライズドキュメントにおけるエージェントの品質向上

ドキュメント処理は、あらゆるエージェントの精度の上限を決定します。これを正しく行うために、Databricks AI Researchチームは、エンタープライズが実際に直面する、レイアウトの一貫性のなさ、ネストされたテーブル、画像、手書き文字といった、散らかりがちな現実に対応するために設計された特殊なシステムを構築することに着手しました。

この研究は、ドキュメント処理を構成可能なステップに分解する一連の連鎖可能なAI関数を支えています。一般提供が開始されたai_parse_documentは、生のスキャンデータをレイアウトで強化された構造化テキストに変換します。さらに下流では、ai_classifyがドキュメントを正しくルーティングし、ai_extractが最も重要な主要な構造化インサイトを抽出します。これらを組み合わせることで、簡単に組み立てられるドキュメントインテリジェンスパイプラインが形成されます。一度解析すれば、元のドキュメントを再処理することなく、分類、抽出、再抽出が可能です。

では、より優れたドキュメント処理は、実際のエージェントの精度を向上させるのでしょうか？実際の国債ドキュメントをOfficeQAでベンチマークしたところ、ai_parse_documentで前処理を行うことで、テストしたすべてのエージェントフレームワークで平均16％のパフォーマンス向上が達成されました。エージェントの推論ハーネスは全く変更されていませんが、その下にあるドキュメントデータレイヤーは変更されました。

注：ドキュメントの構造化されたレイアウトテキストが提供された際のモデルのトークン取得傾向により、Claude Opus 4.6のコストが増加しました。

だからこそ、私たちはDocument Intelligenceをエージェントワークフローの基盤として構築しています。ドキュメント処理の品質とコストの向上は、その上に構築されるすべてのものに複利で影響します。

Document Intelligenceにより、毎年、数百万もの非構造化された技術PDFから主要な構造化インサイトを抽出するインテリジェントドキュメント処理パイプラインの基盤を築いています。これらのPDFは、数千の組織から提供され、非常に一貫性のないフォーマットを網羅しています。— Graham Lammers氏、データインテリジェンス担当エグゼクティブディレクター、Accuris

エンタープライズ規模でのドキュメントインテリジェンスの解放

品質が解決されたとしても、エンタープライズIDPの墓場には、パイロットは成功したが、本番環境の経済性には耐えられなかったプロジェクトが数多くあります。これは、コストが6桁に膨れ上がり、バッチジョブが数時間ではなく数日かかるためです。

私たちは、Document Intelligenceを最初から本番規模の経済性を考慮して設計しました。後付けではありません。AI関数であるai_parse_documentは、研究に基づいて専門化されているため、汎用モデルの計算オーバーヘッドなしに最先端の精度を達成します。

さまざまなソリューションで、エンタープライズの請求書、契約書、医療記録、金融申告書から主要なエンティティを特定する構造化ドキュメント抽出タスクの精度とコストをベンチマークしました。Document Intelligenceは、比較可能なパイプラインと比較して5〜7倍低コストで、一貫して最高の精度を達成しました。

注：(parse + extract)とマークされたオファリングは、2段階のパイプラインアーキテクチャを使用しています。一度解析して再利用可能なシルバーレイヤーに変換し、その後、再解析せずに抽出および再抽出します。VLMベースのオファリングは、すべての抽出呼び出しでドキュメント全体を再処理します。

重要なのは、この規模をサポートするために、すべてのAI関数がハイボリュームワークロード向けに構築されたサーバーレスバッチインフラストラクチャ上で実行されることです。100件の請求書を処理するのと同じ1行のSQL呼び出しで、パイプラインを再アーキテクチャすることなく100,000件を処理できます。

Document Intelligenceにより、わずか数週間でほぼ90％低コストで、同じ高品質なエンティティ抽出を達成しました。この価格性能のブレークスルーにより、当社の本番パイプラインが強化され、新しい疾患領域への迅速な進出、数億件の臨床記録の効率的な処理、そして顧客へのインサイトの大規模な提供が可能になりました。 — Jerry Dennany氏、CTO、Loopback Analytics

重要なのは、大規模処理のために、すべてのAI関数がハイボリュームワークロード向けに構築されたサーバーレスバッチインフラストラクチャ上で実行されることです。100件の請求書を処理するのと同じ1行のSQL呼び出しで、パイプラインを再アーキテクチャすることなく100,000件を処理できます。

断片化されたパイプラインから統合されたワークフローへ

今日のほとんどのエンタープライズにとって、ドキュメントインテリジェンスはプラットフォーム機能ではありません。それは、個別のパイプラインの集まりです。単一のユースケースのために、チームはOCRサービスを組み合わせ、別の抽出APIを接続し、さらに別のプロバイダーから分類モデルを組み込みます。すぐに、壊れやすく、保守が高価で、午前3時に壊れた場合にデバッグがほぼ不可能な、脆弱なカスタムグルーコードでまとめられた3〜5個の切断されたAPIを管理することになります。そして、別のチームが別のドキュメントタイプを処理する必要が生じた場合、構築できる再利用可能なものはありません。最初からやり直すことになります。

これは、ドキュメントインテリジェンスを、エンタープライズ全体の機能ではなく、個別のプロジェクトのシリーズとして閉じ込めてしまうサイクルです。Document Intelligenceはこのサイクルを打破します。切断されたサービスを組み合わせるのではなく、すべてのステップが既存のDatabricksオーケストレーションおよびガバナンスレイヤー内でネイティブに実行されます。

• Lakeflow Connectを使用してドキュメント（例：SharePointから）を取り込みます。
• エラー処理、オブザーバビリティ、および新規ドキュメントの自動処理が組み込まれたLakeflow JobsまたはSpark Declarative Pipelinesを使用して、完全なパイプラインをオーケストレーションします。
• 生のドキュメントから構造化テーブル出力まで、パイプラインとデータのエンドツーエンドの系統、セキュリティ、およびアクセス制御をUnity Catalogでガバナンスします。
• Agent Bricksプラットフォームを使用して、新しい強化されたドキュメントデータレイヤー上にエージェントを構築します。

エンタープライズにとって、これは、不透明で断片化されたサービスの網ではなく、単一の統合されガバナンスされたワークフロー上でドキュメントインテリジェンスを実行できることを意味します。これは、すべてのドキュメントにわたるエージェントユースケースをスケーリングするための再現可能なプレイブックです。

Databricksにより、手動で断片化されたプロセスから、自動化されスケーラブルなインテリジェンスへと移行しました。かつては数週間かかっていた作業が、今では数日で完了します。これにより、クライアントが他では得られないインサイトを解放できます。 — Tony Qui氏、EY-Parthenon グローバルイノベーションリーダー、ストラテジー＆トランザクション

エージェントの能力はドキュメント処理層次第です

エンタープライズエージェントの可能性は、ほとんどの組織がまだ答えを出していない疑問にかかっています。それは、エージェントがビジネス上の何百万ものドキュメントを実際に理解できるかどうかということです。

そのため、このギャップを埋めるためのDocument Intelligenceを発表できることを嬉しく思います。これは、ビジネス上の重要なワークフローに十分な精度を持ち、コンプライアンスチームがベンダー間でデータを追跡する必要がないようにエンドツーエンドで管理され、1行のコードを変更することなく最初のパイロットから本番環境までスケールするように構築されています。

ドキュメントは、エンタープライズにおける最も豊富なインテリジェンスソースです。エージェントがそれらを読み取れるようになる時が来ました。

• Document IntelligenceとLakeflowの構築方法については、ハウツーブログをお読みください。
• Databricksトライアルにお申し込みください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事