Databricks Agent Bricksを使用した規制リスクコパイロットの構築（パート1：情報抽出）

2025年7月、米国FDAは、医薬品および生物学的製剤の申請が初回審査で承認されなかった理由を説明する決定通知書である200通以上のCRL（Complete Response Letter）の初回バッチを公開し、透明性における大きな転換点となりました。依頼者、臨床医、データチームは初めて、一元化され、ダウンロード可能な公開FDA PDFを介して、臨床、CMC、安全性、ラベリング、生物学的同等性における不備に関する当局独自の言葉で業界を分析できるようになります。

FDAが新しいCRLを公開し続けるにつれて、このような非構造化データやその他のデータから迅速に知見を生成し、社内のインテリジェンス/データに加える能力は、大きな競争上の優位性となります。PDF、文書、画像などの形で提供される非構造化データから得られる知見を効果的に活用できる組織は、自社の申請のリスクを軽減し、よくある落とし穴を特定し、最終的に市場投入までの時間を短縮できます。課題は、このデータが他の多くの規制関連データと同様にPDFにロックされており、PDFは大規模な処理が非常に困難であることで知られている点です。

Databricksは、まさにこのような課題を解決するために構築されました。このブログでは、Databricksの最新AIツールを使用して、PDFに閉じ込められた主要な情報を迅速に抽出し、これらの重要なレターを実用的なインテリジェンスのソースに変える方法を紹介します。

AIで成功するために必要なこと

高度な技術的専門性が求められるため、エンジニアはサイロ化した環境で開発を主導することが多く、AI の構築とビジネス要件との間に大きなギャップが生じます。主題の専門家（SME）が結果を見る頃には、それが求めていたものではないことがよくあります。フィードバックループが遅すぎると、プロジェクトは勢いを失います。

初期のテストフェーズでは、ベースラインを確立することが極めて重要です。多くの場合、代替アプローチではグラウンドトゥルース（正解データ）がなく、主観的な観察や「雰囲気」に頼るため、何ヶ月も無駄にすることになります。このような経験的証拠の欠如が進捗を妨げます。対照的に、Databricksのツールはすぐに使える評価機能を提供し、顧客が即座に品質を重視できるようにします。反復的なフレームワークを使用して、抽出における数学的な信頼性を得ることができます。AIを成功させるには、迅速で協調的なイテレーション（反復）に基づいた新しいアプローチが必要です。

Databricksは、ビジネス分野の専門家とAIエンジニアがリアルタイムで連携し、本番運用レベルのエージェントを構築、テスト、デプロイできる統合プラットフォームを提供します。このフレームワークは、3つの主要な原則に基づいて構築されています。

• ビジネスと技術の緊密な連携: 専門分野のエキスパート (SME) とテックリードが同じ UI で連携し、即座にフィードバックを交換することで、時間のかかるEメールでのやり取りが不要になります。
• グラウンドトゥルース評価：ビジネスで定義された「グラウンドトゥルース」ラベルは、正式なスコアリングのためにワークフローに直接組み込まれています。
• フルプラットフォームアプローチ： これはサンドボックスやポイントソリューションではなく、自動化されたパイプライン、LLM-as-a-Judge評価、本番運用で信頼性の高いGPU throughput、エンドツーエンドのUnity Catalogガバナンスと完全に統合されています。

この統合プラットフォームのアプローチが、プロトタイプを信頼性の高い本番運用対応のAIシステムへと変えるのです。それを構築するための4つのステップを順に見ていきましょう。

PDF から本番運用まで：4つのステップのガイド

非構造化データで本番環境品質のAIシステムを構築するには、優れたモデルだけでは不十分であり、シームレスで反復的、かつ協調的なワークフローが必要です。情報抽出エージェントBrickをDatabricksの組み込みAI関数と組み合わせることで、ドキュメントの解析、主要情報の抽出、そしてプロセス全体を運用に乗せることが容易になります。このアプローチにより、チームはより迅速に動き、より質の高い結果を提供できるようになります。以下に、構築するための4つの主要なステップを解説します。

ステップ 1: ai_parse_document() を使用して非構造化 PDF をテキストに解析する

最初のハードルは、PDFからクリーンなテキストを抽出することです。CRLは、複数ページ、複数列にわたるヘッダー、フッター、表、グラフなど、複雑なレイアウトを持つことがあります。単純なテキスト抽出は多くの場合失敗し、不正確で使い物にならない出力になります。

レイアウトの扱いに苦慮する脆弱なポイントソリューションとは異なり、ai_parse_document()は最先端のマルチモーダルAIを活用してドキュメント構造を理解し、読み取り順にテキストを正確に抽出し、不規則なテーブル階層を維持し、図のキャプションを生成します。

さらに、Databricks はドキュメント インテリジェンスにおいて、主要な競合他社よりも3～5倍低いコストで、エンタープライズレベルの大量の複雑なPDFを確実にスケーリングして処理できるという優位性をもたらします。チームはファイルサイズの制限を気にする必要がなく、内部のOCRとVLMによって、高密度で不規則な図やその他の困難な構造を含む、従来「問題となっていたPDF」を正確に解析できます。

かつて多数のデータサイエンティストが複数のベンダーにまたがるカスタム解析スタックを構成、維持する必要があった作業が、単一のSQLネイティブ関数で実現できるようになりました。これにより、チームはスケーラビリティの低いパーサーで発生しがちな障害モードを回避し、数百万ものドキュメントを並列処理できます。

起動するには、まず、PDFを含むクラウドストレージにUC Volumeをポイントします。この例では、Volumeで管理されているCRL PDFにSQL関数をポイントします。

この1つのコマンドが、すべてのPDFを処理し、解析済みのコンテンツと結合されたテキストを含む構造化テーブルを作成して、次のステップへの準備を整えます。

インフラストラクチャ、ネットワーク、外部LLMやGPUの呼び出しなどを設定する必要は一切ありません。DatabricksがGPUとモデルのバックエンドをホストしているため、追加の設定なしで、信頼性と拡張性の高いthroughputを実現できます。ライセンス料を課金するプラットフォームとは異なり、Databricksではコンピュートベースの価格モデルを採用しています。つまり、お客様が使用したリソース分のみお支払いいただく仕組みです。これにより、本番運用パイプラインでの並列化と関数レベルのカスタマイズを通じて、強力なコスト最適化が可能になります。

ステップ2: Agent Bricksによる反復的な情報抽出

テキストを取得したら、次の目標は、特定の構造化フィールドを抽出することです。例えば、不足していた点は何ですか？NDA ID は何でしたか？拒否の引用は何でしたか？ここで、AIエンジニアとビジネスSMEが緊密に連携する必要があります。専門家は何を探すべきかを把握しており、エンジニアと協力して、その発見方法をモデルに素早くプロンプトで指示することができます。

Agent Bricks: Information Extraction は、まさにこのワークフローのためのリアルタイムの共同作業 UI を提供します。

以下に示すように、このインターフェースにより、技術リーダーとビジネスSME（主題専門家）が協力して作業できます。

1. ビジネス専門家は、抽出が必要な特定のフィールド（例: deficiency_summary_paragraphs, NDA_ID, FDA_Rejection_Citing）を指定します。
2. 情報抽出エージェントは、これらの要件を効果的なプロンプトに変換します。編集可能なガイドラインは右側のパネルにあります。
3. テクニカルリードとビジネス専門家の両者は、中央パネルでJSON出力をすぐに確認し、モデルが左側のドキュメントから情報を正しく抽出しているかどうかを検証できます。ここから、2人のどちらかがプロンプトを再構成して、正確な抽出を確実に行うことができます。

この即時のフィードバックループが成功の鍵です。フィールドが正しく抽出されない場合、チームはプロンプトを微調整したり、新しいフィールドを追加したり、指示を改良したりして、その結果を数秒で確認できます。単一のインターフェースで複数の専門家が協力する。この反復的なプロセスこそが、AI プロジェクトの成功と、サイロ化による失敗との分かれ目となります。

ステップ3: エージェントの評価と検証

ステップ2では、「雰囲気のチェック」では反復開発中に正しく見えたエージェントを構築しました。しかし、新しいデータを扱う際に、高い精度とスケーラビリティをどのように確保すればよいのでしょうか？1つのドキュメントを修正するためのプロンプトの変更が、他の10のドキュメントを壊してしまう可能性があります。ここで、Agent Bricksワークフローの重要かつ組み込みの正式な評価の出番となります。

このステップは品質ゲートであり、検証のための 2 つの強力なメソッドを提供します。

方法A: グラウンドトゥルースラベルによる評価（ゴールドスタンダード）

AIは、他のデータサイエンスプロジェクトと同様に、適切なドメイン知識がなければvacuumでは失敗します。SME（主題専門家）が投資して、手動で抽出され人間によって検証された正しく関連性の高い情報の「ゴールデンセット」（別名グラウンドトゥルース、ラベル付きデータセット）を提供することは、このソリューションが新しいファイルやフォーマットにわたって汎化されることを保証する上で大いに役立ちます。これは、ラベル付けされたキーと値のペアが、エージェントが高品質のプロンプトを迅速に調整するのに役立ち、それがビジネスに関連した正確な抽出につながるためです。Agent Bricksがこれらのラベルを使用してエージェントを正式にスコアリングする方法を詳しく見ていきましょう。

Agent BricksのUI内で正解データテストセットを提供すると、バックグラウンドでAgent Bricksがテストドキュメントに対して実行されます。UIには、エージェントが抽出した出力と、"正しい"ラベル付きの回答が並べて比較表示されます。

UIには各抽出フィールドの明確な精度スコアが表示されるため、プロンプトを変更した際のリグレッションを即座に特定できます。Agent Bricksを使用すると、エージェントが人間レベルかそれ以上の精度で動作しているというビジネスレベルの確信を得られます。

手法B：ラベルなし？LLM-as-a-Judgeを活用する

しかし、ゼロから始めて正解ラベルがない場合はどうすればよいでしょうか？これは、よくある"コールド起動"問題です。

Agent Bricks 評価スイートは、LLM-as-a-Judge という強力なソリューションを提供します。Databricks は一連の評価フレームワークを提供しており、Agent Bricks は評価モデルを活用して公平な評価者として機能します。「裁判官」モデルには、元のドキュメントのテキストと、各ドキュメントの一連のフィールド プロンプトが提示されます。「裁判官」の役割は、「期待される」応答を生成し、それをエージェントによって抽出された出力と比較評価することです。

LLM-as-a-Judge によって、スケーラブルで高品質な評価スコアが得られます。さらに、本番運用環境で使用して、エージェントが本番運用環境の変動性や規模に対して信頼性と汎用性を維持できるようにすることも可能です。詳細については、今後のブログでご紹介します。

ステップ4：ETL パイプラインでエージェントを ai_query() と統合する

この時点で、ステップ2でエージェントを構築し、ステップ3でその精度を検証したことで、自信を持って抽出をワークフローに統合する準備ができました。ワンクリックでエージェントをサーバーレスモデルエンドポイントとしてデプロイでき、抽出ロジックはすぐにシンプルでスケーラブルな関数として利用可能になります。

そのためには、SQLでai_query()関数を使用して、新しいドキュメントが届いたときにこのロジックを適用します。ai_query()関数を使用すると、エンドツーエンドのETLデータパイプライン内で、あらゆるモデルサービングエンドポイントを直接かつシームレスに呼び出すことができます。

これにより、Databricks Lakeflow Jobs は、完全に自動化された本番運用グレードの ETL パイプラインを保証します。Databricksジョブは、お客様のクラウドストレージにある生のPDFを取得して解析し、高品質なエージェントを使って構造化された知見を抽出し、分析、レポート作成、または下流のエージェントアプリケーションによる検索で参照できるテーブルに格納します。

Databricksは、高度な技術チームと、意味のあるAIを構築するために必要なコンテキストを持つドメイン専門家との間の壁を打ち破る、次世代のAIプラットフォームです。AIでの成功は、モデルやインフラストラクチャだけによるものではありません。エンジニアとSME（主題専門家）が互いの考えを洗練させ合う、緊密で反復的なコラボレーションこそが成功の鍵です。Databricksは、チームが共同開発、迅速なエクスペリメント、責任あるガバナンスを行い、データサイエンスに科学的根拠を取り戻すための単一の環境を提供します。

Agent Bricksは、このビジョンを具現化したものです。非構造化コンテンツを解析するai_parse_document()、高品質な抽出を加速する「Agent Bricks: Information Extraction」の協調的な設計インターフェース、そして本番環境レベルのパイプラインでソリューションを適用するai_query()を使用することで、チームは何百万もの煩雑なPDFから検証済みの知見を、これまで以上に迅速に導き出すことができます。

次回のブログでは、これらの抽出された知見を利用して、「オンコロジー医薬品で最も一般的な製造準備に関する問題は何ですか？」のような自然言語の質問に答えることができる、本番運用レベルのチャットエージェントを構築する方法をご紹介します。

• 詳細はこちら: ai_parse_document()、Agent Bricks: 情報抽出、およびai_query()の公式ドキュメントをお読みください。
• 利用開始：Databricks のフリートライアルに登録して、独自の AI ソリューションを今すぐ構築しましょう。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事