Databricks Document Intelligence と Lakeflow を使用した構築

構造化データパイプラインの完成に何十年も費やしてきたにもかかわらず、エンタープライズナレッジの80%は、PDF、画像、オフィス文書に閉じ込められ、機能的に見えないままです。

従来、インテリジェントドキュメント処理（IDP）は、断片化された悪夢でした。生成AIの時代以前は、組織は、主要なデータプラットフォームの外部にある、接続されていないNLPおよびコンピュータービジョンAPIに頼らざるを得ませんでした。これらのサイロ化されたOCR（光学文字認識）ベンダーは、精度が限定的で、正式なガバナンスプロトコルを欠いており、大きな摩擦を生み出していました。エンタープライズAIの約束を果たすためには、データライフサイクルに直接データインテリジェンスを統合する統一されたアプローチが必要です。

本日、データエンジニアがDatabricksの統合データエンジニアリングソリューションであるLakeflowとDatabricks Document Intelligenceを活用して、そのデータをアンロックし、Databricks Platformで本番グレードの自律IDPを構築することによって、ビジネスに影響を与えるインテリジェンスに変える方法を紹介します。

ステップ1：Lakeflow Connectによるセキュアな取り込み

エンタープライズドキュメントはサイロ化された墓場に存在し、フォルダ名が変更された瞬間に壊れる、壊れやすいカスタムコードAPI統合を通じてのみアクセス可能です。Lakeflow Connectは、レイクハウスへのデータ取り込みのためのDatabricksソリューションであり、SharePointやGoogle Driveを含む多くの一般的なエンタープライズアプリケーション、データベース、ファイルソース向けの組み込みコネクタにより、ゲームチェンジャーとなります。

このソリューションは、複雑なOAuthフローやカスタムPythonスクリプトを管理する必要性を排除することで、メンテナンス不要の取り込みを提供します。ドキュメントは直接Unity Catalog Volumesとテーブルに着陸するため、ファイルがレイクハウスに入った時点でアクセス制御、リネージ、監査が適用され、構造化データですでに依存しているのと同じきめ細かな属性ベースのポリシーを再利用できます。

また、Lakeflow Connectの堅牢な機能（増分読み書きを含む）により、大規模な取り込みを高速かつ効率的に行うことができます。これにより、バッチバックフィルとストリーミング下流と組み合わせたニアリアルタイムドキュメントフローの両方で、大規模ライブラリの完全な再プルを回避できます。

ステップ2：Databricks Document Intelligenceの開始方法

これらのエンタープライズドキュメントには、組織の最も価値のある洞察の一部が含まれていますが、本質的に乱雑で、変動し、一貫性がありません。スキャンされたページ、手書きのメモ、ネストされたテーブルは、最も価値のある洞察を閉じ込めます。これを修正するには、別のドキュメント抽出ツールが必要なだけではありません。Forresterが指摘するように、「推論ファーストのアーキテクチャ進化」が必要です。このアプローチにより、GartnerはGenAIがカスタムトレーニングされたドキュメントモデルの必要性を70%削減すると予測しています。

本日、Databricks Document Intelligenceを使用すると、最先端のドキュメント理解をデータに直接もたらすことができます。データエンジニアリングチームは、既存のデータパイプラインと並んで、複雑なドキュメントを確実に解析、構造化、および強化できる専用のAI関数を活用できます。これらはすべてUnity Catalogによってシームレスにガバナンスされます。

• ai_parse_document（新規 - GA）：この関数は、非構造化ファイルをVariantデータ型を使用して構造化表現に変換します。スキャンされた画像、手書き、可変レイアウトなど、従来のパーサーを通常つまずかせる入力の複雑さをネイティブに処理し、フラットテキスト抽出では失われる重要なドキュメント構造（ネストされたテーブル、セクション、ヘッダーなど）を維持します。これにより、パイプラインを壊すことなくスキーマを時間とともに進化させることができます。下流では、VARIANT出力を柔軟なブロンズ/シルバー表現として扱い、SQLまたはPySparkを使用してシルバー/ゴールドレイヤーにDelta列に投影します。Lakeflow Spark Declarative Pipelines。

解析された構造の上に、追加のリサーチチューニングされたAI関数を連鎖させることができます。

• ai_extract (PuPr)：契約の有効日および満了日、相手方、請求書合計、税金、通貨、PO番号などの構造化された洞察を抽出します。
• ai_classify (PuPr) ：ドキュメントをタイプ（請求書、PO、SOW、NDA）、緊急度/リスク、または担当ビジネスユニット別にルーティングします。
• ai_prep_search（新規 - Beta）：ドキュメントをインテリジェントにチャンクに分割し、高品質な下流埋め込みを行い、検索または検索ユースケースの準備をします。

以下は、ai_parse_documentとai_extractを連鎖させる簡単な例です。
注意：この例はPySparkを示していますが、SQLも使用できます（ドキュメントを参照）。

これらはDatabricks Platformに統合されたマネージドAI関数であるため、Document Intelligenceは、それらをエンタープライズコンテキスト（カタログメタデータ、ビジネスセマンティクス、既存のテーブル）と組み合わせて、エンタープライズドメインコンテキストに根ざした高精度でデータに関する推論を行うエージェントワークフローを強化できます。

ステップ3：IDPワークロードの生産化

ノートブックで取り込みと解析が機能したら、IDPを本番化する必要があります。つまり、取り込み、解析、強化、提供をオーケストレーションします。しかし、パイプラインが健全であることを保証するために、CI/CDでSLA、障害、再試行を監視したいとも思います。

DatabricksのネイティブオーケストレーターであるLakeflow Jobsを使用すると、ETL、分析、MLに使用するのと同じオーケストレーションシステムでIDPワークロードを堅牢で自動化されたパイプラインに変換できます。これにより、IDP DAGのすべてのタスクに対する統合オーケストレーションが提供されるため、ノートブック、Pythonスクリプト、SQLクエリ、パイプライン、LLM、またはエージェント呼び出しを単一のジョブに連鎖させ、ドキュメント取り込みからの完全なフローをモデル化できます。

Lakeflow Jobsには、組み込みの高度な制御フロー（if/else条件、for each、再試行など）とトリガー（テーブル更新、ファイル到着、継続的など）も付属しています。これにより、1）失敗したパーティションまたは特定のドキュメントバッチのみを再処理し、2）ジョブを特定のスケジュール、イベントベースのトリガー、またはリアルタイムドキュメントストリームの継続的モードに適合するように管理することが容易になります。

Lakeflow Jobsのサーバーレスコンピューティングとネイティブなオブザーバビリティにより、ドキュメント量の急増に対する自動スケーリングも可能になり、リアルタイム監視、メトリクス、アラートが表示されるため、成功したタスクを再実行することなく、ボトルネックを特定し、障害を修復できます。

エンタープライズコンテキストでのAIの基盤構築

IDPは、エンタープライズコンテキスト、つまり独自のスキーマ、ビジネス定義、カスタムセマンティクスに裏打ちされている場合に最も価値があります。

Unity Catalog

Unity Catalogは、あらゆるクラウド上の構造化データ、非構造化ファイル、MLモデル、ビジネス指標にわたる統合ガバナンスと検出を提供します。IDPの場合、それは次のことを意味します。

• 生データと構造化テーブルの両方に対するアクセス ポリシー、リネージ、および監査を定義する単一の場所
• オープン フォーマット（Delta、Apache Iceberg、Hudi、Parquet）のサポートにより、プロプライエタリなドキュメント表現にロックインされません
• エージェントが「ベンダー」、「顧客」、「契約価値」などのエンティティを一貫して名前付けおよび解釈するために使用できるビジネス セマンティクスとカタログレベルのメタデータ。

ドキュメント インテリジェンス

ドキュメント インテリジェンスは、このコンテキストを使用して、特定の IDP タスクに使用するテーブル、ツール、およびモデルを認識し、エンドツーエンドでガバナンスされ、決して必要以上にアクセスしない、そしてLLM ベースの品質スコアリング、タスク固有のベンチマーク、および学習ループを通じて継続的に改善される本番 AI エージェントを構築します。開発者向けに、Databricks はAPI および SDK を提供するため、これらのエージェントをコードとして定義し、他のデータまたは ML アセットと同様に既存の CI/CD パイプラインに統合できます。

最新の IDP スタックのベスト プラクティス

パイロットからプラットフォームに移行するには、これらのベスト プラクティスを念頭に置いてください。

• データ エンリッチメント：「ベンダー名」を抽出するだけではありません。内部マスター データまたはサードパーティ ソース（Dun & Bradstreet など）と結合して、完全なビジネス コンテキストを提供します。
• 運用上の卓越性: Lakeflow ジョブにサービス プリンシパルを使用して、パイプラインの安定性を確保します。
• 監視: Lakehouse Monitoring を使用して、モデルのドリフトと抽出の精度を時間の経過とともに追跡します。

最新のデータ インテリジェンスへの道

Databricks を使用すると、最新のデータ プラットフォームでインテリジェント ドキュメント処理のライフサイクル全体を所有できます。Lakeflow と AI 関数を組み合わせることで、非構造化された隠れたデータを信頼できるクエリ可能なデータセットに変換し、コア ETL および ML と並行してオブザーバブル ドキュメント パイプラインをシームレスに実行できます。

自律ドキュメント インテリジェンスの戦略的価値をカバーしたところで、次はそれを構築する番です。Databricks を使用してこの正確なアーキテクチャを展開するための段階的な技術的ウォークスルーについては、コンパニオン投稿 From PDF to Insights を参照してください。

ドキュメント インテリジェンスおよびLakeflow のドキュメントを探索して、今日から最初の IDP パイプラインの構築を開始することもできます。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事