メインコンテンツへジャンプ
ログイン
      • Databricks を知る
        • For App Developers
          • エグゼクティブ向け
            • スタートアップ向け
              • レイクハウスアーキテクチャ
                • Databricks AIリサーチ
                • 導入事例
                  • 注目の導入事例
                  • パートナー
                    • パートナー概要
                      Databricks パートナー エコシステムの詳細
                      • パートナースポットライト
                        注目のパートナーの発表
                        • パートナープログラム
                          特典、レベル、パートナーになる方法をご覧ください
                          • クラウドプロバイダー
                            AWS、Azure、GCP 上の Databricks
                            • パートナーを探す
                              ニーズに合った Databricks パートナーを見つける
                              • パートナーソリューション
                                業界別および移行ソリューションを見つける
                              • Databricks プラットフォーム
                                • プラットフォームの概要
                                  データ・分析・AI のための統合プラットフォーム
                                  • データエンジニアリング
                                    バッチ、ストリーミングデータのための ETL とオーケストレーション
                                    • AIアシスタント
                                      ビジネスユーザー向けのエージェント型同僚
                                      • データウェアハウジング
                                        バッチ、ストリーミングデータのための ETL とオーケストレーション
                                        • アプリケーション開発
                                          安全なデータと AI アプリを迅速に構築
                                          • データベース
                                            データアプリと AI エージェントのための Postgres
                                            • 人工知能(AI)
                                              ML と生成 AI アプリケーションの構築とデプロイメント
                                              • ガバナンス
                                                データ・分析・AI のための統合ガバナンス
                                                • BI
                                                  実世界データのインテリジェント分析
                                                  • セキュリティ
                                                    AI時代のために構築されたオープンなエージェント型SIEM
                                                    • 顧客データプラットフォーム
                                                      Databricksに組み込まれたエージェント型CDP
                                                      • 共有
                                                        データ、分析、AI のためのオープンなデータ共有
                                                      • 統合とデータ
                                                        • マーケットプレイス
                                                          データ、分析、AI のためのオープンマーケットプレイス
                                                          • IDE 統合
                                                            お気に入りの IDE(統合開発環境)でレイクハウスを構築
                                                            • パートナーコネクト
                                                              Databricks エコシステムの検索と統合
                                                            • ご利用料金
                                                              • Databricks のご利用料金
                                                                料金設定、DBU、その他
                                                                • コスト計算ツール
                                                                  クラウド利用でのコンピュートコストの試算
                                                                • オープンソース
                                                                  • オープンソーステクノロジー
                                                                    プラットフォームを支えるイノベーションをもっと詳しく
                                                                  • 業界向け Databricks
                                                                    • テレコミュニケーション
                                                                      • メディア・エンターテイメント
                                                                        • 金融サービス
                                                                          • 官公庁・公共機関
                                                                            • 医療・ライフサイエンス
                                                                              • リテール・消費財
                                                                                • 製造
                                                                                  • 全て見る
                                                                                  • クロスインダストリーソリューション
                                                                                    • AI Agents
                                                                                      • AI ガバナンス
                                                                                        • サイバーセキュリティ
                                                                                          • マーケティング
                                                                                          • 移行・デプロイメント
                                                                                            • データの移行
                                                                                              • プロフェッショナルサービス
                                                                                              • ソリューションアクセラレータ
                                                                                                • ソリューションアクセラレータ一覧
                                                                                                  成果を加速
                                                                                                • トレーニング・認定試験
                                                                                                  • トレーニング概要
                                                                                                    ニーズに合わせたカリキュラムを探す
                                                                                                    • Databricks アカデミー
                                                                                                      Databricks ラーニングプラットフォームにサインインする
                                                                                                      • 認定
                                                                                                        スキル・認定で差別化を図る
                                                                                                        • 無料版
                                                                                                          専門家向けデータとAIツールを無料で学べます
                                                                                                          • 大学との連携
                                                                                                            Databricks を教材として活用
                                                                                                          • イベント
                                                                                                            • DATA+AI サミット
                                                                                                              • Data+AI ワールドツアー
                                                                                                                • AI Days
                                                                                                                  • イベントカレンダー
                                                                                                                  • ブログ・ポッドキャスト
                                                                                                                    • Databricks ブログ
                                                                                                                      最新情報、製品発表、その他の情報
                                                                                                                      • AI ブログ
                                                                                                                        当社のAI研究とエンジニアリングの取り組みをご覧ください
                                                                                                                        • Data Brew ポッドキャスト
                                                                                                                          ご相談・お問い合わせ
                                                                                                                        • お役立ちリソース
                                                                                                                          • カスタマーサポート
                                                                                                                            • ドキュメント
                                                                                                                              • コミュニティ
                                                                                                                              • もっと詳しく
                                                                                                                                • リソースセンター
                                                                                                                                  • デモセンター
                                                                                                                                    • アーキテクチャ センター
                                                                                                                                    • 企業概要
                                                                                                                                      • Databricks について
                                                                                                                                        • 経営陣
                                                                                                                                          • Databricks Ventures
                                                                                                                                            • ご相談・お問い合わせ
                                                                                                                                            • 採用情報
                                                                                                                                              • 採用情報概要
                                                                                                                                                • 求人情報
                                                                                                                                                • プレス・ニュース記事
                                                                                                                                                  • ニュースルーム
                                                                                                                                                    • 受賞歴と業界評価
                                                                                                                                                    • セキュリティと信頼
                                                                                                                                                      • セキュリティと信頼
                                                                                                                                                  • 是非ご検討ください!
                                                                                                                                                  • デモを見る
                                                                                                                                                  • ログイン
                                                                                                                                                  • ご相談・お問い合わせ
                                                                                                                                                  • Databricks 無料トライアル
                                                                                                                                                  1. すべてのブログ
                                                                                                                                                  2. /
                                                                                                                                                    エンジニアリング
                                                                                                                                                  • Genie Codeから始める
                                                                                                                                                  • 適切なai_extractレバーを選択する
                                                                                                                                                  • プロンプトとスキーマを一緒にバージョン管理する
                                                                                                                                                  • 固定された正解データに対して候補を評価する。
                                                                                                                                                  • 各評価を判定としてまとめる。
                                                                                                                                                  • 修正の変更を最後まで追跡する
                                                                                                                                                  • 評価をプロモーションの決定に変える。
                                                                                                                                                  • 再現可能な抽出ワークフローを構築する。
                                                                                                                                                  • Genie Codeから始める
                                                                                                                                                  • 適切なai_extractレバーを選択する
                                                                                                                                                  • プロンプトとスキーマを一緒にバージョン管理する
                                                                                                                                                  • 固定された正解データに対して候補を評価する。
                                                                                                                                                  • 各評価を判定としてまとめる。
                                                                                                                                                  • 修正の変更を最後まで追跡する
                                                                                                                                                  • 評価をプロモーションの決定に変える。
                                                                                                                                                  • 再現可能な抽出ワークフローを構築する。
                                                                                                                                                  エンジニアリング
                                                                                                                                                  2026年10月27日

                                                                                                                                                  その場しのぎの修正から確かな成果へ:ai_extract と MLflow Prompt Registry でドキュメント抽出の精度を向上させる

                                                                                                                                                  ai_extract の精度向上、プロンプトとスキーマのバージョン管理、結果の評価方法、および Genie Code によるそれらの自動化について

                                                                                                                                                  によって Kristen Drexinger 、 Seshendranath Balla による投稿

                                                                                                                                                  • すべてを自分でやる必要はありません: Genie Code for document processing は、このワークフローの中核を自動化します。ラベル付けされたデータに対してフィールドごとに抽出結果をスコアリングし、確認可能な差分としてスキーマや指示の修正案を提案し、評価を再実行して変更前後の結果を表示します。
                                                                                                                                                  • 適切なアプローチで ai_extract の精度を向上: フィールドレベルのルールにはスキーマ記述を、ドキュメントレベルのロジックにはプロンプトを、構造の複雑さには精度モードを、エラーの診断には引用を使用します。
                                                                                                                                                  • MLflow Prompt Registry でプロンプトとスキーマをバージョン管理: パイプラインコードを直接編集する代わりに、抽出ロジックをバージョン管理されたアーティファクトとして追跡し、エイリアスを通じて変更のデプロイやロールバックを行います。
                                                                                                                                                  • 昇格前に変更を評価: 精度、カバレッジ、実行ごとの変動を追跡しながら、固定された人間によるレビュー済みの正解データと候補を比較します。

                                                                                                                                                  ドキュメント抽出は、多くの場合、単純なループから始まります。不正確なフィールドを見つけ、プロンプトやスキーマを調整し、ドキュメントを再実行して、結果を確認します。

                                                                                                                                                  このアプローチは、フィールドやドキュメントのフォーマットが増えるにつれて信頼性が低下します。ある変更によって1つのフィールドが修正される一方で別の場所で回帰が発生したり、あるレイアウトでは機能しても別のレイアウトでは失敗したり、LLMの実行における通常の変動によって単に改善されたように見えたりすることがあります。

                                                                                                                                                  私たちは、何十ものPDFレイアウトにわたるパートナー提出の注文書から約40の構造化フィールドを抽出する最近のプロジェクトでこれを目の当たりにしました。レビュー担当者は、データが下流に移動する前に抽出された値を修正および承認し、評価のための人間がレビューしたグラウンド真実を提供しました。

                                                                                                                                                  課題は、ai_extractにフィールドを返させることではありませんでした。システム全体を劣化させることなく抽出を改善することでした。

                                                                                                                                                  たとえば、revisionフィールドは、revision番号や空欄の代わりに、ORIGINALなどのステータス用語を返すことがありました。小さなスキーマ変更により、そのフィールドのエラーは約半分に削減されました。しかし、すべてのフィールドで見ると、総抽出エラーは9%増加しました。

                                                                                                                                                  教訓は明確でした。1つのフィールドを改善しても、必ずしも抽出システム全体が改善されるとは限りません。

                                                                                                                                                  パイプラインには、変更を体系的に評価するために必要な部品のほとんどがすでに揃っていました。ドキュメントはオブジェクトストレージに格納され、Auto Loaderを使用したLakeflow SDPパイプラインを通過しました。Bronzeはai_parse_documentでドキュメントを解析し、Silverはai_extractで構造化フィールドを抽出テーマとして抽出し、Goldはマテリアライズドビューとして結果をパブリッシュしました。予測はLakebaseに同期され、そこでDatabricks Appによりレビュー担当者がフィールドを修正および承認し、Lakebase CDCがそれらの承認をレイクハウスに戻しました。

                                                                                                                                                  ドキュメント抽出パイプライン
                                                                                                                                                  図1:人間のレビューを伴うドキュメント抽出パイプライン。プロンプトとスキーマはSilverにハードコードされていますが、レビュー担当者の修正はまだ抽出の変更を評価するために使用されていません。

                                                                                                                                                  フィードバックループには2つの要素が欠けていました。レビュー担当者の承認は利用可能でしたが、再利用可能な評価データセットにまとめられていませんでした。同時に、プロンプトとスキーマがパイプラインコードに直接埋め込まれていたため、抽出に対するわずかな変更でもコードのデプロイが必要でした。

                                                                                                                                                  私たちは、3つの質問を中心にワークフローを構築することで、両方の問題に対処しました。何を変更すべきか?どのようにバージョン管理すべきか?そして、それを促進するのに十分な証拠とは何か?

                                                                                                                                                  この投稿では、そのワークフローの3つの部分について説明します。

                                                                                                                                                  • 適切なレバーでai_extractを改善する: フィールドルールにはスキーマを、ドキュメントロジックにはグローバルインストラクションを、困難な構造には精度モードを、エラーの診断には引用を使用します。
                                                                                                                                                  • プロンプトとスキーマのバージョン管理: 両方をMLflow Prompt Registryに保存し、パイプラインコードを編集せずにエイリアスを使用して設定をデプロイまたはロールバックします。
                                                                                                                                                  • プロモーション前の評価:固定された人間がレビューしたグラウンド真実で候補を比較し、精度、カバレッジ、および実行間の変動を追跡します。

                                                                                                                                                  これらの手順を組み合わせることで、提案された抽出変更から本番環境への再現可能なパスが作成され、変更がシステム全体を改善するという証拠が得られます。

                                                                                                                                                  Genie Codeから始める

                                                                                                                                                  この投稿の残りの部分では、推奨する実践方法と、それぞれが重要である理由について説明します。すべてを自分自身で実装する必要はありません。ドキュメント処理用のGenie Codeは、Lakeflowジョブ(ai_parse_document、ai_classify、および引用と信頼度スコアを持つai_extract)を構築し、評価と山登りループを使用してこのワークフローの核心を自動化します。

                                                                                                                                                  • 測定:ラベル付けされたテーブルに対して現在の抽出フィールドをフィールドごとにスコアリングし、どのフィールドが弱いかを確認できるようにします。
                                                                                                                                                  • 改善:修正案を提案します。多くの場合、よりシャープなフィールド記述であり、適用する前に承認するレビュー可能な差分として表示されます。
                                                                                                                                                  • 再評価:受け入れられた変更ごとに評価セットを再実行し、変更前と変更後の結果を表示して、回帰が改善と同じように目に見えるようにします。

                                                                                                                                                  たとえば、Genie Codeに次のように尋ねることができます。「ラベル付けされたテーブルに対して抽出を評価し、どのどのフィールドが最も弱いかを教えてください」に続いて、「リビジョンフィールドの精度を上げることができます。スキーマと指示を反復的に改善し、評価を再実行し、前と後を見せてください。」

                                                                                                                                                  基礎を理解することは依然として重要です。Genie Codeの提案された変更を判断し、結果がプロモーションに十分であるかどうかを決定し、例えばMLflow Prompt Registryでプロンプトとスキーマをバージョン管理することによって、本番環境向けにワークフローを拡張するのに役立ちます。以下の各セクションでは、推奨される実践方法を説明し、Genie Codeがそれをどのように処理できるかについて言及しています。

                                                                                                                                                  適切なai_extractレバーを選択する

                                                                                                                                                  ai_extractは、解析されたドキュメント、JSONスキーマ、およびオプションのグローバルインストラクションの3つの入力を受け取ります。

                                                                                                                                                  スキーマとインストラクションは異なる目的を果たします。

                                                                                                                                                  • スキーマ: 出力フィールドとフィールド固有の抽出ルールを定義します。
                                                                                                                                                  • グローバルインストラクション: ドキュメント全体に適用されるガイダンスを提供します。

                                                                                                                                                  結果は、各スキーマフィールドに1つのエントリを持つ構造化された値になります。たとえば、extracted:response.revision.valueのように、個々のフィールドに直接アクセスできます。

                                                                                                                                                  フィールド固有のルールをスキーマに配置する。

                                                                                                                                                  スキーマ構造から始めます。フィールドに有効な値の固定セットがある場合は、説明に許可されている値をリストするのではなく、列挙制約を使用します。数値と整数には数値型を使用し、繰り返される構造にはネストされた配列またはオブジェクトを使用します。

                                                                                                                                                  次に、次のような型だけでは表現できないルールのスキーマ記述を使用します。

                                                                                                                                                  • 004などの識別子の先頭のゼロを保持する
                                                                                                                                                  • ORIGINAL、NEW、またはREVISEDなどのステータス用語を除外する
                                                                                                                                                  • 最初の無効な文字で識別子を停止する
                                                                                                                                                  • 値が存在しない場合はnullを返す

                                                                                                                                                  KEY: フィールドルールをスキーマに保持すると、抽出契約の検査が容易になり、グローバルプロンプトが無関係な例外のリストになるのを防ぎます。

                                                                                                                                                  ドキュメントレベルの推論にはグローバルプロンプトを使用する

                                                                                                                                                  グローバルプロンプトは、次のようなドキュメント全体に適用されるルール用に予約します。

                                                                                                                                                  • ドキュメントまたはドメインコンテキスト
                                                                                                                                                  • フッターに対するヘッダーなどのソースの優先順位
                                                                                                                                                  • クロスフィールド一貫性ルール
                                                                                                                                                  • 行を配列に結合するための指示
                                                                                                                                                  • ソースとして使用すべきではないドキュメント領域

                                                                                                                                                  たとえば、エンティティ名が定型句のフッターやサードパーティの連絡先ブロックから誤って抽出された場合、FORBIDDEN-SOURCESの指示により、モデルにそれらの領域を無視するように指示できます。

                                                                                                                                                  有用なルールは次のとおりです。ルールが1つのフィールドを定義している場合は、スキーマに配置します。ドキュメントの解釈方法を定義している場合は、プロンプトに配置します。

                                                                                                                                                  Genie Codeで自動化する:山登りループも同じ原則に従います。提案された修正は、ほとんどの場合、スキーマ内のフィールド記述をシャープにし、適用する前に承認するための差分として表示されます。

                                                                                                                                                  決定的フォーマットを下流に維持する。

                                                                                                                                                  すべての変換にLLMが必要なわけではありません。可能な場合は、SQLやその他の決定的な変換を使用して、大文字と小文字の区別、区切り文字の削除、ゼロパディング、およびTELEVISIONからTVへのマッピングなどを処理します。

                                                                                                                                                  KEY: モデルを使用して文書を解釈し、コードを使用して出力を正規化します。

                                                                                                                                                  構造的な問題にはプレシジョンモードを使用する。

                                                                                                                                                  指示が明確であっても、文書の構造が複雑で処理しづらい場合があります。大きなスキーマ、繰り返しの明細項目、複雑なテーブル、マルチページのレイアウトなどがあると、値と正しい行の対応付けを維持するのが難しくなります。

                                                                                                                                                  このような場合には、ai_extract バージョン 2.1 のプレシジョンモードをご利用いただけます。

                                                                                                                                                  プレシジョンモードにより、より高度なユースケースに対応する最先端の抽出機能が提供されます。プロンプトとスキーマを固定した状態で、繰り返し構造に対して最も効果を発揮し、過剰抽出(正しい答えが空欄であるべき場合にモデルが値を返してしまう現象)を削減します。

                                                                                                                                                  設定を変更する前に、障害の原因を診断してください。

                                                                                                                                                  • モデルがフィールドの意味を誤解している場合は、プロンプトまたはスキーマを変更します。
                                                                                                                                                  • フィールドは理解しているものの、データ構造の処理に苦戦している場合は、プレシジョンモードをテストします。

                                                                                                                                                  これらのアプローチは補完的なものです。私たちのテストでは、スキーマのルールによってモデルが誤解していたフィールドが修正され、プレシジョンモードによって複雑なテーブルからのフィールド抽出精度が向上しました。

                                                                                                                                                  引用を使用して、フィールドが誤っている理由を理解する。

                                                                                                                                                  抽出された値が誤っている場合、引用機能を使用すると、モデルがどこからその答えを見つけたかを確認できます。

                                                                                                                                                  引用では、ソース文書内の要素スパンにマッピングできるフィールドレベルのバウンディングボックスが提供されます。これにより、次の2種類のエラーを区別しやすくなります。

                                                                                                                                                  • 抽出エラー: モデルが誤った領域を選択した、フィールドを誤解した、またはソースによって裏付けられていない値を返した。
                                                                                                                                                  • ラベリングの不一致: モデルは正しい位置から抽出したが、期待される答えが別のレビュアーの規則に従っている。

                                                                                                                                                  これらには異なる修正が必要です。抽出エラーの場合は、スキーマやプロンプトの変更が必要になることがあります。ラベリングの不一致は、レビュアーのガイドラインで期待される規則を定義することで解決する必要があります。

                                                                                                                                                  信頼度スコアも、人間のレビューの優先順位付けに役立ちます。

                                                                                                                                                  自動的な品質ゲートとしてではなく、信頼度の低いフィールドを最初にレビューするなど、ランキングシグナルとして活用してください。信頼度の高い結果であっても、誤っている可能性はあります。

                                                                                                                                                  Genie Code の場合:Genie Code が構築する抽出タスクには、引用と信頼度スコアが含まれています。「評価結果に基づいてフィールドごとに信頼度のしきい値を設定し、信頼度の低い行をレビューにルーティングする」ように指示したり、ドキュメントパース UI を使用してパースと抽出を視覚的にデバッグしたりできます。

                                                                                                                                                  プロンプトとスキーマを一緒にバージョン管理する

                                                                                                                                                  プロンプトやスキーマをパイプラインコード内にハードコードする煩雑さを減らすため、パイプラインコードの外で設定可能かつ再利用可能な定義として管理します。文言を少し変更するだけでもコードのデプロイが必要になり、以前のバージョンを復元するのが難しくなり、新しいバージョンが古いバージョンよりも優れているという証拠も残りません。

                                                                                                                                                  MLflow Prompt Registry を使用すると、それらの入力をパイプラインコードとは別にバージョン管理できます。プロンプトとスキーマの両方をバージョン管理してください:フィールドの説明は、グローバルな指示と同様に抽出に影響を与えます。プロンプトのみをバージョン管理した場合、抽出ロジックの半分は追跡されないコード変更としてそのまま残ることになります。

                                                                                                                                                  Genie Code のループを超えて:Genie Code は、最適なプロンプトとスキーマを見つけるのに役立ちます。その設定を本番環境に移行する際、バージョン管理を行っていれば、コードをデプロイすることなく変更のプロモートやロールバックを行うことができます。

                                                                                                                                                  シンプルなエイリアス戦略の例:

                                                                                                                                                  • @prod (現在承認されているバージョン用)
                                                                                                                                                  • @candidate (評価中のバージョン用)
                                                                                                                                                  • @scr_* (並行して比較している実験中のバージョン用)

                                                                                                                                                  その後、パイプラインはエイリアスによってアクティブなバージョンをロードします。

                                                                                                                                                  解決されたプロンプトとスキーマは、ai_extract に渡されます。

                                                                                                                                                  候補が承認されると、mlflow.genai.set_prompt_alias を使用して @prod を新しいバージョンに移行できます。パイプラインは次回の実行時にパイプラインコードを変更することなくそのバージョンを解決します。ロールバックするには、両方のエイリアスを以前の記録されたバージョンに戻します。元のバージョンはレジストリに残ります。

                                                                                                                                                  これにより、抽出設定を実行するコードから分離できます。図 2 には、もう 1 つの欠けている要素である、再利用可能な正解データ(グラウンド・トゥルース)も追加されています。

                                                                                                                                                  Silver は承認されたプロンプトとスキーマを読み込みます
                                                                                                                                                  図 2: Silver はレジストリから承認されたプロンプトとスキーマを読み込みます。レビュアーの承認が正解データビューに反映されます。

                                                                                                                                                  正解データビューでは、承認されたラベルとソース文書および予測がペアになり、変更を測定するためのリファレンスデータセットが作成されます。

                                                                                                                                                  固定された正解データに対して候補を評価する。

                                                                                                                                                  バージョン履歴からは何が変更されたかがわかりますが、その変更によって改善されたかどうかまではわかりません。レビュアーが承認した結果から固定されたコホートを作成します(私たちの場合は、さまざまなレイアウトを網羅した数百件の PDF を使用しました)。本番環境のプロンプトと各候補プロンプトを同じテストセットに対してスコアリングします。

                                                                                                                                                  すべてのバージョンについて、次のようなメトリクスを追跡します。

                                                                                                                                                  • 全体およびフィールドレベルの精度
                                                                                                                                                  • 正解データの網羅率
                                                                                                                                                  • 文書タイプ別のパフォーマンス
                                                                                                                                                  • 実行ごとの変動

                                                                                                                                                  比較の際は、文書とメトリクスの定義の両方を一貫させてください。そうしないと、スコアの変化は抽出設定の違いではなく、テストセットやスコアリングルールの違いを反映していることになってしまいます。

                                                                                                                                                  Genie Code の場合:図 2 の正解データビューなどのように、ラベル付けされたテーブルを Genie Code に指定し、抽出の評価を依頼します。フィールドごとにスコアリングが行われ、受け入れられた変更のたびに同じ評価セットが再実行されるため、変更前後の比較で同じ文書を使用できます。変更を本番環境に移行する際には、以下のノイズフロア、網羅率、および判定のチェックが有用なガードレールとなります。

                                                                                                                                                  LLM の通常の変動を考慮する

                                                                                                                                                  候補のスコアが一度少し高くなったからといって、それが優れているとは限りません。凍結されたテストセットに対して本番環境の設定を少なくとも 3〜5 回実行し、平均精度と標準偏差(σ)を計算します。その σ がノイズフロアとなります。ポリシーによっては、候補の改善が意味のあるものとみなされるために 2σ を超えることを要求する場合があります。その範囲内の変動は成果ではなく、結論の出ないものとなります。

                                                                                                                                                  精度と併せて網羅率を追跡する

                                                                                                                                                  欠損予測を無視すると、精度も誤解を招く原因になります。

                                                                                                                                                  モデルとレビュアーの両方が値を提示したフィールドのみをスコアリングする場合を考えてみてください。難しいフィールドを空欄のままにする候補は、それらのミスが分母から消えるため、より正確であるように見えることがあります。その逆も起こり得ます。レビュアーが revision の値を提示した文書でのみ revision フィールドをスコアリングしたところ、私たちの修正による精度の向上は 3 パーセント未満に見えました。しかし、正しい答えが空欄であるケースを含め、すべてのエラーをカウントしたところ、この修正により revision のエラーがおよそ半分に削減されました。改善の大部分は、本来値がない場所で値を返さないように正しく処理できたことによるものです。

                                                                                                                                                  これが、精度と併せて網羅率を報告する必要がある理由です。例えば、モデルが予測を返す非 null の正解データフィールドの割合として、明確に定義してください。精度が上昇した一方で網羅率が大幅に低下した場合は、候補をプロモートする前に調査を行ってください。

                                                                                                                                                  結果として得られるハーネスは、テストセットの凍結、本番環境のベースラインの確立、スクリーニングエイリアスでの候補の登録、繰り返しの評価の実行、そして精度・網羅率・安定性の比較という再現可能なシーケンスに従います。

                                                                                                                                                  評価シーケンス
                                                                                                                                                  図 3: 評価シーケンス:テストセットの凍結、本番環境のベースラインの測定、候補のスクリーニング、および精度・網羅率・安定性の比較を行います。

                                                                                                                                                  各評価を判定としてまとめる。

                                                                                                                                                  精度、カバレッジ、および実行ごとの変動を測定したら、評価ハーネスによってそれらの指標を少数の結果に絞り込むことができます。

                                                                                                                                                  • 改善 (BETTER): 精度が事前定義されたなしきい値をクリアし、カバレッジが維持され、結果が安定しています。
                                                                                                                                                  • 要確認 (SUSPECT): 精度は向上しますが、カバレッジが大幅に低下します。
                                                                                                                                                  • 不安定 (UNSTABLE): 実行間で結果のばらつきが大きすぎます。
                                                                                                                                                  • 判定不能 (INCONCLUSIVE): 違いが小さすぎるため、通常の変動と区別できません。
                                                                                                                                                  • 悪化 (WORSE): 精度が有意に低下します。

                                                                                                                                                  これらの判定結果により、候補を本番環境に昇格させるかどうかを決定する前に、評価をの一貫した方法で要約できます。

                                                                                                                                                  修正の変更を最後まで追跡する

                                                                                                                                                  元のプロンプトとスキーマと比較して、すべてのフィールドのエラーをカウントしながら、同じテストセットで各候補を3回スコア付けしました。

                                                                                                                                                  変更revision のエラーすべてのフィールドのエラー判定
                                                                                                                                                  revision スキーマの修正のみ-49%+9%TARGET_IMPROVED_WITH_REGRESSION
                                                                                                                                                  プロンプトとスキーマの再構築-57%-16%BETTER
                                                                                                                                                  精度モードのみ、プロンプトやスキーマの変更なし-10%-24%BETTER
                                                                                                                                                  プロンプトとスキーマの再構築 + 精度モード-64%-32%BETTER

                                                                                                                                                  スポット修正により revision については目的の動作が得られましたが、スケジュール詳細などの無関係な行アイテムフィールドでモデルが値の生成を開始しました。1つのフィールドの説明を編集することは、1つのフィールドだけの実験ではありません。モデルはスキーマ全体を読み込みます。

                                                                                                                                                  そのため、リリースしませんでした。

                                                                                                                                                  代わりに、グローバルプロンプトからフィールド固有のルールを外し、同じ revision ルールを含めてスキーマの説明に移動しました。プロンプトは元の長さの半分未満になり、全体のエラーは16%減少し、estimate のエラーは30%減少しました。

                                                                                                                                                  2つのフィールドが悪化したため、次のラウンドのターゲットリストに追加されました。

                                                                                                                                                  精度モードは異なる結果を示しました。プロンプトやスキーマを変更せずに、エラーを24%削減しました。そのほとんどは、繰り返される行アイテムフィールドで値を生成しなくなったことによるものです。しかし、revision のエラーはほとんど変わりませんでした。これは定義の問題であり、スキーマのルールのみで修正されたためです。

                                                                                                                                                  これらを組み合わせると効果が累積します。再構築されたプロンプトとスキーマに精度モードを重ねることで、残りのエラーのさらに19%が削除されました。全体として、エラーは約3分の1(32%)減少し、revision のエラーは3分の2近く(64%)減少しました。

                                                                                                                                                  これは、Genie Code のループが表面化するように設計されている回帰です。承認された変更ごとに完全な評価セットが再実行されるため、revisionには役立つものの行アイテムフィールドには悪影響を及ぼすスポット修正は、本番環境ではなく事前および事後の結果に表示されます。

                                                                                                                                                  MLflow
                                                                                                                                                  図4. MLflowにおける元の構成の隣にある各候補の3回の実行。すべての実行はプロンプトバージョン、スキーマバージョン、エンジンとともに記録されるため、各結果はそれを生成した正確な構成までさかのぼって追跡できます。

                                                                                                                                                  評価をプロモーションの決定に変える。

                                                                                                                                                  判定は出発点であり、最終的な決定ではありません。

                                                                                                                                                  以前の候補の1つは、見積もりエラーを約3分の1削減しましたが、全体としては「判定不能(INCONCLUSIVE)」でした。しかし、ほぼすべてのドキュメントでyes/noのフラグの入力が開始されていましたが、レビュアーがそのフィールドにマークを付けていたのはごく少数のドキュメントのみでした。

                                                                                                                                                  集計指標が許容範囲内であるように見える場合でも、1つのフィールドでの重大な回帰により、昇格が除外される場合があります。したがって、昇格は人間が制御し続ける必要があります。

                                                                                                                                                  候補が BETTER として分類されている場合、オーナーは @prod エイリアスを更新し、候補バージョン、評価指標、作成者、タイムスタンプを記録できます。

                                                                                                                                                  集計された精度に完全に反映されていない重要なビジネスルールの実装など、INCONCLUSIVE の変更を昇格させる正当な理由がある場合もあります。そのような場合には、上書きの理由を記録することで、決定の根拠が保持されます。

                                                                                                                                                  そのレビューとエイリアスの更新により、フィードバックループが閉じられます。

                                                                                                                                                  フレッシュパイプライン初期化のロード
                                                                                                                                                  図5. 完全なループ:レビュアーの承認がグラウンド・トゥルースになり、ハーネスが候補を評価し、オーナーが承認されたプロンプトとスキーマのペアを昇格させます。フレッシュパイプラインの初期化により、新しいバージョンがロードされます。

                                                                                                                                                  再現可能な抽出ワークフローを構築する。

                                                                                                                                                  信頼性の高いドキュメント抽出とは、1つの完璧なプロンプトを見つけることではありません。適切な変更を選択し、変更内容を追跡し、結果が改善されたかどうかをテストすることです。

                                                                                                                                                  ai_extract を使用する場合、それは、フィールドレベルの動作にはスキーマの説明を使用し、ドキュメントレベルの推論にはグローバルな指示を使用し、構造がボトルネックである場合は精度モードを使用し、抽出が失敗した理由を理解する必要がある場合は引用を使用することを意味します。

                                                                                                                                                  MLflow Prompt Registryを使用すると、プロンプトとスキーマを管理するためのバージョン管理されたパスが提供され、固定された評価テストセットにより、本番環境に到達すべきものを決定するための証拠が得られます。

                                                                                                                                                  これらの要素を組み合わせることで、プロンプトの反復処理が一回限りの編集の連続から、再現可能なエンジニアリングワークフローに変わります。

                                                                                                                                                  Genie Code for document processing は、このループの核心(測定、改善、再評価)を自動化するため、ほとんどのチームはそこから始めて、パイプラインが本番環境に移行するにつれてPrompt Registryのバージョン管理、ノイズフロアチェック、プロモーションゲートを追加できます。

                                                                                                                                                  Databricks AI Functions documentation を探索して ai_extract について詳しく学び、プロンプトのバージョン管理とエイリアス管理については MLflow Prompt Registry documentation を参照してください。Try Genie Code for document processing。「ジョブとパイプライン」からGenie Codeを開き、ドキュメントとラベル付きテーブルを指定して、抽出の評価と改善を依頼します。

                                                                                                                                                  (このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事

                                                                                                                                                  関連タグ:

                                                                                                                                                  ソリューション、導入事例、ベストプラクティス、メディア・エンターテイメント 、 データサイエンス・ML

                                                                                                                                                  最新の投稿を受信トレイで受け取る

                                                                                                                                                  ブログを購読して、最新の投稿を受信トレイにお届けします。

                                                                                                                                                  Sign up

                                                                                                                                                  すべてのブログを見る
                                                                                                                                                  databricks logo
                                                                                                                                                  Databricks を選ぶ理由
                                                                                                                                                  Databricks を選ぶ理由
                                                                                                                                                  • For App Developers
                                                                                                                                                  • エグゼクティブ向け
                                                                                                                                                  • スタートアップ向け
                                                                                                                                                  • レイクハウスアーキテクチャ
                                                                                                                                                  • Databricks AIリサーチ
                                                                                                                                                  導入事例
                                                                                                                                                  • 注目の導入事例
                                                                                                                                                  パートナー
                                                                                                                                                  • パートナー概要
                                                                                                                                                  • パートナープログラム
                                                                                                                                                  • パートナーを探す
                                                                                                                                                  • パートナースポットライト
                                                                                                                                                  • クラウドプロバイダー
                                                                                                                                                  • パートナーソリューション
                                                                                                                                                  Databricks を選ぶ理由
                                                                                                                                                  • For App Developers
                                                                                                                                                  • エグゼクティブ向け
                                                                                                                                                  • スタートアップ向け
                                                                                                                                                  • レイクハウスアーキテクチャ
                                                                                                                                                  • Databricks AIリサーチ
                                                                                                                                                  導入事例
                                                                                                                                                  • 注目の導入事例
                                                                                                                                                  パートナー
                                                                                                                                                  • パートナー概要
                                                                                                                                                  • パートナープログラム
                                                                                                                                                  • パートナーを探す
                                                                                                                                                  • パートナースポットライト
                                                                                                                                                  • クラウドプロバイダー
                                                                                                                                                  • パートナーソリューション
                                                                                                                                                  製品
                                                                                                                                                  レイクハウスプラットフォーム
                                                                                                                                                  • プラットフォーム
                                                                                                                                                  • AIアシスタント
                                                                                                                                                  • アプリケーション開発
                                                                                                                                                  • 人工知能(AI)
                                                                                                                                                  • BI
                                                                                                                                                  • 顧客データプラットフォーム
                                                                                                                                                  • データエンジニアリング
                                                                                                                                                  • データウェアハウス
                                                                                                                                                  • データベース
                                                                                                                                                  • データガバナンス
                                                                                                                                                  • Neon
                                                                                                                                                  • セキュリティ
                                                                                                                                                  • 共有
                                                                                                                                                  ご利用料金
                                                                                                                                                  • 料金設定の概要
                                                                                                                                                  • 料金計算ツール
                                                                                                                                                  オープンソース
                                                                                                                                                  統合とデータ
                                                                                                                                                  • マーケットプレイス
                                                                                                                                                  • IDE 統合
                                                                                                                                                  • パートナーコネクト
                                                                                                                                                  レイクハウスプラットフォーム
                                                                                                                                                  • プラットフォーム
                                                                                                                                                  • AIアシスタント
                                                                                                                                                  • アプリケーション開発
                                                                                                                                                  • 人工知能(AI)
                                                                                                                                                  • BI
                                                                                                                                                  • 顧客データプラットフォーム
                                                                                                                                                  • データエンジニアリング
                                                                                                                                                  • データウェアハウス
                                                                                                                                                  • データベース
                                                                                                                                                  • データガバナンス
                                                                                                                                                  • Neon
                                                                                                                                                  • セキュリティ
                                                                                                                                                  • 共有
                                                                                                                                                  ご利用料金
                                                                                                                                                  • 料金設定の概要
                                                                                                                                                  • 料金計算ツール
                                                                                                                                                  統合とデータ
                                                                                                                                                  • マーケットプレイス
                                                                                                                                                  • IDE 統合
                                                                                                                                                  • パートナーコネクト
                                                                                                                                                  ソリューション
                                                                                                                                                  業種別
                                                                                                                                                  • 通信
                                                                                                                                                  • 金融サービス
                                                                                                                                                  • 医療・ライフサイエンス
                                                                                                                                                  • 製造
                                                                                                                                                  • メディア・エンタメ
                                                                                                                                                  • 官公庁・公共機関
                                                                                                                                                  • リテール・消費財
                                                                                                                                                  • 全て表示
                                                                                                                                                  クロスインダストリーソリューション
                                                                                                                                                  • AI エージェント
                                                                                                                                                  • AI ガバナンス
                                                                                                                                                  • サイバーセキュリティ
                                                                                                                                                  • マーケティング
                                                                                                                                                  データの移行
                                                                                                                                                  プロフェッショナルサービス
                                                                                                                                                  ソリューションアクセラレータ
                                                                                                                                                  業種別
                                                                                                                                                  • 通信
                                                                                                                                                  • 金融サービス
                                                                                                                                                  • 医療・ライフサイエンス
                                                                                                                                                  • 製造
                                                                                                                                                  • メディア・エンタメ
                                                                                                                                                  • 官公庁・公共機関
                                                                                                                                                  • リテール・消費財
                                                                                                                                                  • 全て表示
                                                                                                                                                  クロスインダストリーソリューション
                                                                                                                                                  • AI エージェント
                                                                                                                                                  • AI ガバナンス
                                                                                                                                                  • サイバーセキュリティ
                                                                                                                                                  • マーケティング
                                                                                                                                                  リソース
                                                                                                                                                  ドキュメント
                                                                                                                                                  カスタマーサポート
                                                                                                                                                  コミュニティ
                                                                                                                                                  トレーニング・認定試験
                                                                                                                                                  • トレーニング
                                                                                                                                                  • 認定
                                                                                                                                                  • 無料版
                                                                                                                                                  • 大学との連携
                                                                                                                                                  • Databricks アカデミー
                                                                                                                                                  イベント
                                                                                                                                                  • DATA+AI サミット
                                                                                                                                                  • Data+AI ワールドツアー
                                                                                                                                                  • AI Days
                                                                                                                                                  • イベントカレンダー
                                                                                                                                                  ブログ・ポッドキャスト
                                                                                                                                                  • Databricks ブログ
                                                                                                                                                  • AI ブログ
                                                                                                                                                  • Data Brew ポッドキャスト
                                                                                                                                                  トレーニング・認定試験
                                                                                                                                                  • トレーニング
                                                                                                                                                  • 認定
                                                                                                                                                  • 無料版
                                                                                                                                                  • 大学との連携
                                                                                                                                                  • Databricks アカデミー
                                                                                                                                                  イベント
                                                                                                                                                  • DATA+AI サミット
                                                                                                                                                  • Data+AI ワールドツアー
                                                                                                                                                  • AI Days
                                                                                                                                                  • イベントカレンダー
                                                                                                                                                  ブログ・ポッドキャスト
                                                                                                                                                  • Databricks ブログ
                                                                                                                                                  • AI ブログ
                                                                                                                                                  • Data Brew ポッドキャスト
                                                                                                                                                  企業情報
                                                                                                                                                  企業概要
                                                                                                                                                  • Databricks について
                                                                                                                                                  • 経営陣
                                                                                                                                                  • Databricks Ventures
                                                                                                                                                  • ご相談・お問い合わせ
                                                                                                                                                  採用情報
                                                                                                                                                  • 採用情報概要
                                                                                                                                                  • 求人情報
                                                                                                                                                  プレス・ニュース記事
                                                                                                                                                  • ニュースルーム
                                                                                                                                                  • 受賞歴と業界評価
                                                                                                                                                  セキュリティと信頼
                                                                                                                                                  企業概要
                                                                                                                                                  • Databricks について
                                                                                                                                                  • 経営陣
                                                                                                                                                  • Databricks Ventures
                                                                                                                                                  • ご相談・お問い合わせ
                                                                                                                                                  採用情報
                                                                                                                                                  • 採用情報概要
                                                                                                                                                  • 求人情報
                                                                                                                                                  プレス・ニュース記事
                                                                                                                                                  • ニュースルーム
                                                                                                                                                  • 受賞歴と業界評価
                                                                                                                                                  databricks logo

                                                                                                                                                  Databricks Inc.
                                                                                                                                                  160 Spear Street, 15th Floor
                                                                                                                                                  San Francisco, CA 94105
                                                                                                                                                  1-866-330-0121

                                                                                                                                                  採用情報

                                                                                                                                                  © Databricks 2026. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.

                                                                                                                                                  • プライバシー通知
                                                                                                                                                  • |利用規約
                                                                                                                                                  • |現代奴隷法に関する声明
                                                                                                                                                  • |カリフォルニア州のプライバシー権利
                                                                                                                                                  • |プライバシー設定