PDF処理を本番レベルへ：Databricksの最先端ドキュメントインテリジェンス登場

Week of Agentsでは、データに基づいて正確に推論する、ガバナンスの効いた本番運用に対応した AI エージェントを構築するための Databricks プラットフォームである Agent Bricksを拡張しています。企業がエージェントをスケーリングする際に直面する最大の課題の 1 つは、非構造化データへのアクセスです。企業のナレッジの約 80% は、エージェントが読み取り、理解、推論できない PDF、レポート、図などのドキュメントに閉じ込められています。これらのドキュメントには重要なコンテキストが含まれていますが、ほとんどの AI エージェントはこれまでそれらを読み取ることができませんでした。

既存の解析ツールはテキスト抽出にとどまり、実際のドキュメントで意味を持つレイアウト、視覚要素、関係性を捉えきれません。各チームは、実世界のデータでは機能しない脆弱なカスタムコードの作成に何ヶ月も費やしています。ai_parse_documentは、このような複雑さを解消します。これにより、ドキュメントを完全に理解する機能がDatabricks Data Intelligence Platformに直接組み込まれ、すべてのエージェントがビジネスコンテキスト全体に、正確かつ安全に、大規模にアクセスできるようになります。

単一のSQLコマンドで、組織はドキュメントを構造化され、ガバナンスが効き、クエリ可能なデータに変換できます:

結果は、PDFのテキストだけでなく、layout情報、解析されたテーブル、バウンディングボックス、キャプション付きの図や画像など、構造化された情報としてドキュメントを包括的に記述したものです。

"Databricksのai_parse_documentは設定のオーバーヘッドを削減し、データサイエンティストがセットアップ時間を短縮して、より複雑で顧客志向のソリューションの高度化に時間を費やせるようにします。"— Meiling He、Rockwell Automation、シニアデータサイエンスマネージャー

最先端の価格性能比

他の最先端の解析システムや視覚言語モデル（VLM）と比較したベンチマークでは、ai_parse_document はその価格帯で最高の品質を誇ります。これは、一般的な外部ベンチマーク（OmniOCR）と弊社独自の内部ベンチマークの両方で測定されています（下図参照）。内部ベンチマークは、顧客から提供されたドキュメントの分布により近く、また、どのモデルのトレーニングデータにも含まれていない可能性が高いものです。数週間以内に、ラベリングエラーを修正し、バウンディングボックスと階層情報を導入した新しいOmniOCRラベルもリリースする予定です。

仕組み

ai_parse_documentは、AIが生成した説明と空間メタデータを使用してテーブル、図、ダイアグラムをキャプチャし、結果をUnity Catalogに保存します。ドキュメントはテーブルのように扱えるようになり、ベクトル検索で検索したり、Agent Bricksワークフローでアクションを実行したりできます。

「PDFや画像から表やテキスト、メタデータを抽出するのは、かつては複雑でコードを多用するプロセスでした。Databricksはこれを単一のSQL関数 ai_parse_document に集約し、大規模な非構造化データ処理を抜本的に簡素化することで、データサイエンティストだけでなく、すべてのデータチームが利用できるようにしました。」— Rajesh Balakrishnan、TE Connectivity、プリンシパルデータサイエンティスト

1つのSQLステートメントで、顧客はすでに何百万ものドキュメントを並行して処理しています：

各結果には以下が含まれます：

• Mergeされたセルやネストされた構造を含め、表は表示されているとおりに維持されます。
• AIが生成したキャプションにより、図とダイアグラムが自動的に記述されます。
• 引用と検証のための空間メタデータと境界ボックス。
• オプションの画像出力はUnity Catalogボリュームに保存され、マルチモーダル検索や可視化に使用できます。

すべてがDatabricks内で完結するため、一貫したガバナンス、リネージ、可観測性を維持できます。

外部パーサーのスタックを、他のDatabricksの操作と同様に動作する単一のSQL関数で置き換えることができます。チームは通常、OCRサービス、layout検出APIs、図キャプションツールにドキュメントをエクスポートしますが、ai_parse_documentはDatabricks環境を離れることなくこれらを処理します：

「ai_parse_documentは、お客様がすでに使用しているDeltaテーブル内で直接ドキュメントを並列解析できるようにすることで、Databricks上でのRAGを高速かつシンプルにします」— Hunter Johnson、Emerson Electric Co.、リードデータサイエンティスト

Agent Bricksで解析からアクションへ

解析されると、ドキュメントデータはAgent Bricksエコシステムの他の部分とスムーズに連携します：

• ベクトル検索は、テキストとビジュアルの両方を理解するマルチモーダル RAG アプリケーションのすべての要素にインデックスを付けます。
• 宣言型エージェント は自然言語を使用して抽出、分類、要約を最適化し、throughputの向上とコストの削減を実現します
• AI Functionsは、すべてSQLを使用して、エンティティの抽出、コンテンツの分類、テキストの要約を行います。
• Multi-Agent Supervisorは、ドキュメント分析エージェントを他の専門エージェントと連携させ、複雑なマルチステップのワークフローを実現します。
• AI/BI Dashboards と Spark宣言型パイプライン は、アナリティクスと継続的な処理に同じ解析済みデータを使用します。

これらの機能が一体となり、非構造化データはAgent Bricksプラットフォームに完全に統合されます。

本番運用に対応するスケーラビリティと信頼性

多くの企業は何百万もの非構造化ドキュメントを解析する必要があり、中には1日に数百万件が流入する企業もあります。このデータを何日もかけずに処理するには、確実にスケールできるソリューションが不可欠です。Databricksはai_parse_documentをSpark宣言型パイプラインと統合し、大規模で自動的な増分ドキュメント処理を提供します。SharePoint、S3、ADLSのいずれから新しいドキュメントが届いても、自動的に解析されます。Lakeflowが再試行、チェックポイント、スケーリングを処理するため、既存のデータを再処理したり、カスタムのオーケストレーションコードを記述したりする必要はありません。

すべてが Unity Catalogを通じて管理され、構造化データと全く同じように、解析されたコンテンツの権限管理、アクセス監査、リネージ追跡を行うことができます。

Agent Bricksで非構造化データを活用

ai_parse_documentは、Agent Bricks AI Functionsに新たに追加された機能で、ai_extract、ai_classify、ai_summarize、ai_queryなどの機能に加わります。これらの関数を組み合わせることで、すべてのチームがDatabricksプラットフォーム内で直接、あらゆる企業データに対して推論できるようになります。ドキュメントインテリジェンスと組み込みのガバナンス、可観測性、オーケストレーションを組み合わせることで、Databricksは、企業が自社のビジネスコンテキストを真に理解し、自信を持って行動するAIエージェントを構築することを可能にします。

非構造化データに秘められた価値を引き出す準備はできましたか？

• ドキュメントを読む ai_parse_documentを今すぐ使い始めましょう
• Databricksの リファレンスソリューション で、 増分ドキュメントパイプラインを構築

研究著者（貢献は同等）: Ziyi Yang, Jasmine Collins, Adyasha Maharana, Cory Stephenson, Erich Elsen, Adam Gurary