Azure Databricks上の生成AIで複雑な契約分析を効率化

診断医療製品のある主要なメーカーでは、EMEA（ヨーロッパ、中東およびアフリカ）地域全体の契約管理が大きな課題となっていました。契約が複数の地域プラットフォームに分散され、契約マネージャーが個々に管理しているため、重要なデータを抽出するのは手作業で労力を要するプロセスで、契約1つにつき最大2日かかることもありました。この断片的なアプローチは、販売パフォーマンスを阻害し、運用コストを増加させ、戦略的な意思決定を遅らせました。

Advancing AnalyticsおよびDatabricksにより、企業は革新的な生成AIソリューションを実装し、契約分析プロセスを変革し、驚くべき効率向上とビジネスインサイトを提供しました。その実現方法をご紹介します。

課題：EMEA全体の契約の複雑さ

同社は世界中で使用される診断製品の幅広いポートフォリオを持っていますが、契約管理プロセスが課題となっていました：

• 契約データは複数の地域プラットフォームに分散していました
• 契約管理に対する集中化または標準化されたアプローチがありません
• 手動レビュープロセスでは、契約マネージャーが全文書を調査する必要がありました
• 契約はデジタル文書、手書き文書、スキャン文書が混在しています
• 主要な属性の抽出には契約1つにつき最大2日かかりました
• 多言語契約（英語、フランス語、ドイツ語）が複雑さを増しています

「契約マネージャーは基本情報を抽出するだけで各契約にほぼ2日を費やしていました」と、企業の幹部は説明します。「EMEA全体で数百の契約があり、この手動のアプローチは持続不可能であり、戦略的な決定を下すために必要な洞察を得ることを妨げていました」

ソリューション：Advancing AnalyticsがDatabricks上で構築した生成AIを活用したパイプライン

Advancing Analyticsとのパートナーシップにより、同社はAzure Databricksでエンドツーエンドに実行される検索拡張生成（RAG）パイプラインを立ち上げました：

• SharePointからの自動取り込みは、完全な監査証跡を持つUnity Catalogによって管理されるDeltaテーブルにPDFを配置します。
• Azure AI Document Intelligenceは、スキャン、手書き、混合言語に対してOCRを実行します。
• フランス語とドイツ語、そして英語以外のテキストは、一貫したダウンストリーム処理のために翻訳モデルを通じてルーティングされます。
• チャンクはMosaic AI Vector Searchで埋め込まれ、インデックス化され、ミリ秒単位の類似性検索が可能になります。
• LLMエンドポイントのアンサンブル（DatabricksホストとAzure OpenAI）が適切なチャンクを引き出し、約100の属性を抽出し、JSON修正チェーンで出力を強化します。

新しいファイルは、キューのプロパティ、アイテム、実行時間、失敗の完全なトレーサビリティを持つカスタムUnityカタログベースのキューシステムによって処理されます。これにより、システムは効果的にリソースをバランスさせながら、ほぼ無限の大きさのスケーラブルなキューを提供します。また、すべての入力ファイルの処理速度と結果が完全に可視化され、追跡可能であることを保証します。

新しいアンサンブルアプローチ：信頼できる精度

ほとんどの抽出パイプラインは単一のモデルを信頼します。しかし、私たちは異なるアプローチを採用しています。2024年の研究論文Probabilistic Consensus through Ensemble Validation（arXiv:2411.06535）に触発されて、私たちは3つのLLMを並行して実行し、少なくとも2つが一致した場合にのみ値を受け入れます。効果は劇的です：

• 信頼性：スループットを遅らせることなく幻覚をキャッチします
• モデルに依存しない：安価なモデルやドメイン固有のモデルを交換しても品質を高く保つことができます
• 監査級の追跡可能性：すべての不一致がSMEのレビューのために記録されます

これは、多言語対応の規制対象契約を処理するDatabricksレイクハウス上で稼働する、アンサンブル検証機能を持つ生成AIソリューションとして先駆的な事例の一つです。

信頼性の高いワークフローと非破壊的な更新

ソリューションのワークフローは、SharePointからのドキュメント取り込みからExcelファイルやカスタムダッシュボードを介した最終出力配信まで、完全に自動化されています。Databricksのワークフローにより、このプロセスは定期的に行われ、予測可能なトラフィックレートが得られ、リソースのプロビジョニングとコスト予測に役立ちます。

このプロセスの更新と改善は、Databricks Asset Bundlesを中心にした堅牢なCI/CDパイプラインを通じて開発環境から本番環境に伝播します。これにより、ノートブック、ワークフロー、リソースが同期を保ち、途切れることなくシームレスに更新されることを保証します。

リアルビジネスインパクト

Advancing AnalyticsによるこのDatabricks駆動型ソリューションの実装は、大きなビジネス価値をもたらしました：

• 処理時間の95%削減：以前は最大2日かかっていた契約分析が現在は数時間で完了します
• 精度向上：このソリューションは、専門家（SME）によって検証された約90％の精度を達成しています
• 可視性の向上：主要な顧客属性の中央データベースが地域チーム間の協力を改善します
• スケーラビリティ：このソリューションは、大量のドキュメントのバックログとアドホックな処理要件の両方を効率的に処理します
• 多言語対応：英語、フランス語、ドイツ語など、最大15言語での契約のシームレスな処理

この会社にとって、このソリューションは年間で数百万ドルの節約、取引サイクルの加速、そして新たな強力な機能をもたらします：自然言語を使用して、すべてのEMEA契約を瞬時に問い合わせることができます。

主題専門家は、以前は文書に埋もれていたり、標準的なテーブルには記録されていなかった洞察や属性をチャットボットに尋ねることができるようになりました。

さらに、このプロセスは92%高速化され、完全に自動化されているため、専門家はほとんど時間をかけずに管理できます。代わりに、彼らはシステムが重い作業を処理する間、より高価値の仕事に集中することができます。

なぜそれが機能したのか

• 統合プラットフォーム、サイロの排除：DatabricksはETL、ベクトル検索、LLMサービング、ガバナンスを統合しました
• ハイブリッドモデル戦略：コストや精度に応じてMosaic AIモデルの提供エンドポイントを使用してモデルを交換し、コードの再配線なしで行います
• ヒューマンインザループ：SMEは初期の実行を検証し、エッジケースをプロンプトテンプレートにフィードバックし、精度を大幅に向上させました
• デプロイメントの規律：アセットバンドルとワークフローがCI/CDを提供し、ライブプロセスの中断なく環境間での変更の伝播を確実にします

展望：影響を拡大する

契約分析ソリューションの成功を受けて、同社は現在、運用全体でのGenerative AIの追加的な応用を探求しています。Advancing AnalyticsがDatabricks上で構築したスケーラブルなアーキテクチャは、製品開発、規制遵守、顧客サービスなどの潜在的な応用を持つ未来の革新の基盤を提供します。

この実装は、組織がAdvancing Analyticsの専門知識とDatabricks、Azureを活用して、複雑で手動的なプロセスを効率的で自動化されたワークフローに変換し、実際のビジネス価値を提供する方法を示しています。生成AIの力と堅牢なデータ管理、ガバナンスを組み合わせることで、企業は以前は非構造化データに隠されていた洞察を解き放つことができ、より良い意思決定と運用の優れた結果をもたらします。

このプロジェクトは、データ、AI、ドメイン専門知識が一体となる青写真です。私たちは単にプロセスを速めただけでなく、戦略的な資産を解放しました。— Dr. Gavita Regunath、Advancing Analyticsの最高AI責任者

ビジネスが複雑なドキュメントの増加量に引き続き対処する中で、このケーススタディは、Advancing AnalyticsとDatabricksがドキュメント処理の課題を戦略的優位性に転換する方法について、説得力のある青写真を提供します。

データ＆AIリーダーのための3つのポイント

1. ビジネスの痛みから始める：サイクルタイム、コスト、リスクはすべての設計選択を導きました
2. ガバナンスは組み込む、後からではない：Unity CatalogとDelta Lakeは、初日からセキュリティチームを満足させました
3. GenAIをプラットフォーム機能として扱う：Vector Search、AI Functions、Mosaic AIが配置されているため、新たなドキュメント中心のユースケースは数ヶ月ではなく数週間で実現可能です。