エンタープライズ規模でガバナンスの効いた信頼性の高いAIエージェントをデプロイするために必要な人材、プロセス、技術に関するガイド
によって Pavithra Rao, ジャンヌ・チュー, Kyra Wulffert 、 Alex Baur による投稿
AgentOps（エージェント運用）とは、本番環境でAIエージェントを構築、デプロイ、改善するための運用手法です。アーキテクチャ、評価、オブザーバビリティ、ガバナンス、セキュリティ、コスト管理を、チームが反復可能な1つのプロセスとして統合します。
AIエージェントは、単に応答を生成するモデル以上の存在です。エージェントは実行時にツールを選択し、企業のデータを取得し、APIを呼び出し、自律的に複数のステップからなるタスクを実行できます。しかし、誤ったツールの呼び出し、過剰な権限付与、予期せぬコストの急増など、これらの機能のすべてにおいて問題が発生する可能性があります。
AgentOpsは、その複雑さがリスクになるのを防ぐために存在します。適切に実施すれば、人々が信頼できるほどシステムが安定し、チームが実際に運用できるほどシンプルになります。
生成AIは、これまでの多くのテクノロジーの波よりも速く、実験段階から企業への導入へと移行しました。次の課題は、有望なパイロット版を、人々が信頼して使えるシステムへと進化させることです。
多くのチームが、次のような同じ運用上の疑問で行き詰まっています。
これらの疑問に答えるには、より強力なモデルを用意するだけでは不十分です。エージェント自体の運用モデルが必要になります。
これは馴染みのある領域です。チームが機械学習モデルをノートブックから本番環境へと移行させるにつれて、MLOpsが成熟しました。続いてLLMOpsが登場し、プロンプトやモデルのバージョン管理、分散サービング、コスト管理のプラクティスが追加されました。AgentOpsはその次のレイヤーであり、自律的に推論し、ツールを使用し、行動を起こすシステムへとその規律を拡張します。
本番環境のエージェントには、ツールがアクセスできる範囲の明確な境界、複数ステップの実行に関する追跡可能な記録、品質を測定する方法、障害発生時の対応計画、そしてリリース時に誰も混乱しないよう、エンジニアリング、プロダクト、セキュリティ、コンプライアンス、財務の各部門間で十分に連携が取れていることが求められます。
顧客の実績がこれを証明しています。FactSetのText-to-Codeナレッジエージェントは、単一の基 盤モデルから完全なエージェントシステムへと進化し、精度が44%向上しました。FactSetの事例を読む。
『The Big Book of AgentOps』は、企業のチームがこの移行を成功させるためのプラクティスを体系化しています。これには、アーキテクチャパターン、段階的なデリバリーパイプライン、評価とフィードバックのループ、ガバナンス、コスト管理、そしてエージェントを実際に本番環境に導入するかどうかを決定するステークホルダーの意思決定などが含まれます。
本書は全6章で構成されており、コンセプトから実装までを網羅しています。
エージェントは、プロンプトと応答による単純なLLM呼び出しとは異なります。
ロギング、評価ゲート、ガバナンス、ロールバック、監視はすべて重要ですが、4つのエージェントアーキテクチャによって要件は変化します。参照しやすいよう、各アーキテクチャとそれに対応する運用要件の概要を説明します。
また、パイロット版のリリースを阻むアンチパターンを理解することも同様に重要です。これには、広すぎるユースケースから始めること、複雑さが正当化される前にマルチエージェントのオーケストレーションを導入しようとすること、不要な推論ループを組み込むこと、評価を後回しにすることなどが挙げられます。同様のミスを回避できるよう、よく見られるアンチパターンのリストを紹介します。
デプロイアーキテクチャは、ユ ースケースや組織のニーズに応じて、シンプルなものから複雑なものまで多岐にわたります。単一のDatabricksワークスペースからのデプロイから、最も複雑なセットアップであるマルチアカウント・マルチエージェントのエンタープライズトポロジーまで、4つのデプロイパターンを取り上げます。各パターンには、ニーズの変化に応じてパターンを選択し、移行していくためのガイダンスが用意されています。どの段階においても、Unity Catalog、Unity Gateway、およびMLflowがアーキテクチャを支える中核であり続けます。
チームの編成方法やユースケースの選定から、データインフラストラクチャの構築、評価ループ、ガバナンスのベストプラクティスに至るまでの、7つのフェーズからなるロードマップです。
各フェーズにおける重要な注意点を明らかにします。例えば、コストはライフサイクルにおける重要な要素です。サブエージェント、再試行、ガードレールチェックなどを考慮すると、1回のユーザー要求が複数のモデル呼び出しをトリガーする可能性があります。そのため、使用状況を追跡し、制限を設定し、支出に対する明確な責任を確立することが極めて重要になります。
高品質なエージェントを開発するには、チームは迅速に反復を行う必要があります。また、最先端の研究開発や組織のニーズの変化に合わせて、エージェントを進化させる必要もあります。これに対処するため、『The DevOps Handbook』から引用した「フロー」、「フィードバック」、「継続的な学習」の原則が、AIエージェントシステムの運用においてどのように有用な基盤となるかを示します。
これらの原則をエージェントシステムに適用することは、実際のトレースからゴールデン評価データセットを構築し、SMEのフィードバックに基づいて自動評価システム（自動ジャッジ）を調整し、評価結果を次の開発の指針にすることを意味します。顧客向けメールエージェントの具体的な事例では、毎回のリリースを手動監査にすることなく、人間のレビュー、モデルベースのジャッジ、ルールベースのチェックがどのように連携して機能するかを示しています。
6つのステップからなる計画プロセスにより、チームは成果に直結する部分に注力できるようになります。具体的には、人間のワークフローのマッピング、技術アーキテクチャへの変換、ペルソナごとのオブザーバビリティニーズの定義、システムへのトレース設計、データとツールへのアクセス制御のマッピング、そして再利用可能な要素の特定を行います。
電気通信業界のカスタマーサポートエージェントの例では、データスキーマ、請求処理サブエージェントが使用できるツール、そしてある顧客が別の顧客のデータを決して閲覧できないようにするきめ細かな制御に至るまで、このプロセスを 実践しています。
優れたエンジニアリングが、エージェントの本番導入を保証するわけではありません。技術的に健全なプロジェクトの多くが、代わりに組織や人の問題で行き詰まっています。
本番環境への移行準備は、エグゼクティブスポンサーやプロダクトオーナーから、SME、セキュリティ、コンプライアンス、財務に至るまで、組織全体のステークホルダーの足並みが揃っているかどうかにかかっています。このセクションでは、最も行き詰まりやすい意思決定の責任所在を明確にする実用的なRACIマトリクスと、ローンチ前後における推奨されるコミュニケーション頻度を提示します。これらのチームプロセスにより、緊密なSMEフィードバックループが確保され、ローンチ後の運用監視やレビューがスムーズに進み、プロジェクトが長期的な価値を提供できるようになります。
オーケストレーションを導入する前に、明確な成功指標を持つ、定義された1つのユースケースを選択します。早い段階で動作するプロトタイプをステークホルダーに提示しましょう。あらかじめ作成されたロードマップではなく、そこでの学びに基づいて次に構築するものを決定します。
DXC Technologyは、AIポートフォリオを拡大する際にこのアプローチを採用しました。同社は現在、3つのAIエージェントを本番環境で稼働させ、さらに8つをパイロット運用または開発中であり、Databricksへの移行後にプラットフォームのTCOを30%削減しました。DXC Technologyの事例を読む。
評価こそが、チームが自信を持ってエージェントをリリースし、その後も安全に更新し続けることを可能にするものです。厳選されたいくつかのチャットプロンプトではなく、SMEが実際のトレースをレビューすることから始めましょう。人間による判断によって障害モードが明らかになり、代表的な評価セットが構築され、最終的に日常的なチェックを引き継ぐ自動ジャッジが調整されます。
Databricksはこれをプラットフォームに直接組み込んでいます。エージェントの評価、AIを活用したジャッジ、トレースベースの分析により、チームは本番環境の問題を発見し、根本原因を掘り下げ、再デプロイ前に修正をテストできます。
Intercontinental Exchange（ICE）は、金融データを使用してビジネス上の質問に答える、ガバナンスの効いたText-to-SQLアプリケーションでこれを活用し、約50件のクエリにおいて77%の構文精度と96%の実行一致を達成しました。
エージェントの数が増えるにつれて、個々のアプリケーション内にある制御を監査することは困難になります。プラットフォームアプローチを採用することで、新しいエージェントごとにガバナンスを再構築するのではなく、データアクセス、モデルとツールの使用状況、トレース、評価、ポリシーの適用を1か所で管理できるようになります。
Databricksにおけるその基盤となるのが、評価とトレースのためのMLflow、モデルとツールのトラフィックのためのUnity Gateway、そしてデータとAI資産全体におけるガバナンスの効いた検出、権限、リネージ、アクセス制御のためのUnity Catalogです。
Blockは、ガバナンスの効いた基盤がもたらすメリットを示す好例です。同社のDatabricks環境はAIと運用の両方のユースケースをサポートしており、Unity Catalogが部門間のデータアクセスを管理しています。Databricksは、Blockのセラー業務向けAIエージェントシステムにより、1,000万ドルの生産性向上が達成されたと報告しています。
『The Big Book of AgentOps』は、AIエージェントを本番環境に導入する、または導入後に安定稼働させる責任を持つすべての方に向けて執筆されています。
ユーザーがエージェントの挙動に依存している環境にあるすべての方にとって、本書は必携の一冊です。
詳細については、eBookの全文をお読みいただき、本番環境のAIエージェントを支えるプラットフォーム機能をご確認ください。
AIエージェントの稼働後に、構築、評価、デプロイ、ガバナンス、観測、改善を行うための一連のプラクティスであり、システムが推論を行い、ツールを使用し、確実にアクションを実行し続けるための運用規律でもあります。
リクエストの受信から回答の出力までの間に、ツールの呼び出し、検索、権限チェック、再試行、オーケストレーションなど、非常に多くの処理が発生するためです。これらはそれぞれ品質、リスク、レイテンシー、コストに影響を与えますが、モデルの最終出力だけを監視していても、その状況を把握することはできません。
エージェントの展望とアンチパターン、デプロイアーキテクチャ、7つのフェーズからなるプロジェクトパイプライン、評価とフィードバックループ、非決定論的システムに適応させたDevOpsプラクティス、効果的なプランニング活動、ステークホルダー管理などが含まれています。
まずは、測定可能な成功基準を持つ、範囲を絞ったユースケースを選択します。実際の事例から評価セットを構築し、エージェントの実際の挙動をトレースし、最小権限のガバナンスを適用して、運用のペースを確立してから、より複雑なオーケストレーションへと拡張していきます。
(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事
ブログを購読して、最新の投稿を受信トレイにお届けします。