AIエージェントの正確性を評価する“カスタムLLMジャッジ”の作り方

 AIエージェントがプロトタイプから本番運用に移行するにつれ、組織はエージェントが予測不能な動作をした際のレピテーションリスクを防ぐため、品質を確保し評価プロセスを拡張する必要があります。MLflowは、正確性、関連性、安全性といった主要な側面を評価する、研究に裏付けられた組み込みのLLMジャッジによって、この課題への対処を支援します。それでも、多くの実世界のアプリケーションでは一般的な品質指標以上のものが求められ、固有のコンテキストに合わせた特定ドメイン向けの評価が必要となります。たとえば、カスタマーサポートチャットボットを判定する基準は、医療診断アシスタントや金融アドバイザリーボットを評価するための基準とは大きく異なります。

これまで、カスタム評価ロジックの構築には時間がかかり、開発者とドメインエキスパート (ビジネスコンテキスト、規制、品質基準に関する深い知識を持つ専門家) との緊密な連携が必要で、開発サイクルのボトルネックとなっていました。Databricks Week of Agents の一環として、このプロセスをより速く、よりスケーラブルにするために設計されたAgent Bricksに、MLflow を活用した 3 つの新しい機能を導入します。

• チューナブルジャッジにより、ドメインエキスパートとの体系的な連携が可能になります
• Agent-as-a-Judgeは、評価するトレースの箇所を自動的に判断し、複雑なメトリクスの手動実装によるオーバーヘッドをなくします
• Judge Builder は、これらすべての機能を直感的で視覚的なワークフローで提供し、開発者とドメインエキスパート間のコラボレーションを効率化します。

これらのMLflowを活用した機能により、Agent Bricksはチームが高品質なAIエージェントを構築、監視、継続的に改善するプロセスを簡素化できるようになります。

Tunable Judgesの作成

MLflow 3.4.0で導入された新しい make_judge SDKにより、複雑なプログラムロジックではなく、自然言語の指示を使用して、特定のユースケースに合わせたカスタムLLMジャッジを簡単に作成できます。評価基準を定義するだけで、MLflowが実装の詳細を処理します。

最初のジャッジを作成すると、MLflow のチューニングおよびアラインメントツールが、分野の専門家からのフィードバックを反映させるのに役立ちます。分野の専門家からコメントやスコアリングデータを取得し、カスタムジャッジに直接入力することで、評価ロジックが特定のユースケースにとって「良い」とは何を意味するのかを学習します。品質の向上は一度きりのタスクではなく、継続的なプロセスです。フィードバックを収集してジャッジを再トレーニングまたは調整するたびに、ジャッジの一貫性が高まり、実際のユーザーが考える成功の基準に近づいていきます。時間の経過とともに、この継続的なチューニングによって評価の信頼性が保たれ、エージェントが大規模に改善されていきます。 

「マーケティング最適化の未来を実現するためには、私たちのAIエージェントに絶対的な信頼を置く必要があります。」The make_judge APIは、ドメイン固有のジャッジを継続的に調整するためのプログラムによる制御を提供し、アトリビューションモデリングにおいて最高の精度と信頼性を確保します。”— Tjadi Peeters、CTO、Billy Grace

まずstart、最初のカスタムジャッジを作成します。

ジャッジを人間の専門知識と一致させるには、人間のフィードバックを含むトレースを収集してから、MLflowのアラインメント最適化を使用します。

独自の 調整可能なLLM判定モデル の定義と 判定モデルの調整 について詳しくは、ドキュメント全文をご覧ください。その後、判定モデルをエクスペリメントに登録し、本番運用での品質モニタリングに使用できます。

オフライン評価でも同様に簡単に judge を使用できます。

評価におけるスコアラーの使用方法 や、本番運用での 品質の継続的なモニタリング についてさらに詳しく知る。

Agent-as-a-Judgeのstart方

Agent-as-a-Judgeは、トレースのどの部分が関連しているかを自動的に特定することで評価プロセスにインテリジェンスを追加し、複雑な手動のトレーストラバーサルロジックの必要性をなくします！ジャッジの指示に{{ trace }}変数を含めるだけで、Agent-as-a-Judgeが評価に適したデータを取得します。

特定のツールが呼び出されたか、引数が有効であったか、あるいは冗長な呼び出しが行われたかを確認するなど、多くの評価シナリオでは、従来の評価フレームワークではカスタムコードを記述してトレース構造を手動で検索およびフィルタリングする必要がありました。このコードは、エージェントや評価要件が進化するにつれて、複雑で脆弱になる可能性があります。Agent-as-a-Judgeを使用すると、ジャッジは手動のデータ処理ではなく、意図と結果に直接焦点を当てることができます。

この宣言的なアプローチにより、ジャッジは読みやすく、適応性の高いものになります。同じパターンを拡張して、引数の有効性、冗長なツール呼び出し、その他のカスタムロジックをチェックできます。たとえば、「以前のコンテキストを踏まえてツール呼び出しの引数が妥当であること、そしてツールが冗長に呼び出されていないことを確認してください」のような条件を追加できます。 

Agent-as-a-Judgeは他のすべてのジャッジと同じアラインメント機能をサポートしているため、先に示した構文を使用して、人間のフィードバックでチューニングできます。Agent-as-a-Judgeの詳細については、こちらをご覧ください。  

Judge Builder のご紹介 

ジャッジの作成とアラインメントのプロセスをさらに簡素化するため、 Judge Builderは 、ジャッジのライフサイクル全体を管理するための視覚的なインターフェースを提供します。ドメインエキスパートは直感的なレビュー機能を通じて直接フィードバックを提供でき、開発者はそのフィードバックを使用してジャッジをドメインの基準に自動的にアラインさせることができます。これにより、技術的な実装とドメインの専門知識とのギャップが埋まり、フィードバックの収集、ジャッジのアラインメント、ライフサイクル管理が効率化されます。これらはすべて既存のMLflow機能の上に構築され、既存のMLflowエクスペリメントと統合されています。

Judge Builderをstartするには、Databricks Marketplaceにアクセスし、お使いのworkspaceにJudge Builderアプリをインストールしてください。詳しくはこちら、またはDatabricksの担当者までお問い合わせください。

まとめ

チューニング可能なジャッジ、Agent-as-a-Judge、Judge Builderにより、専門家の基準に合致する特定ドメイン向けのLLMジャッジを構築し、人間のフィードバックによって継続的に改善できます。これらの機能を組み合わせることで、MLflowを使用して高品質なAIエージェントを大規模に構築することが容易になります。特筆すべきは、これらの機能が Agent Bricks を支える包括的な評価エンジンそのものであるという点です。 

プロトタイピングの初期段階から、数百万人のユーザーにサービスを提供する本番運用エージェントの管理まで、MLflowとAgent Bricksは、高品質なエージェントを構築し、自信を持って本番運用環境にデプロイするために必要なツールを提供します。

無料トライアル

• 11月11日、Sam AltmanとAli Ghodsiが登壇する 「AIの未来：実用的なエージェントの構築」にぜひご参加ください。
• Tunable Judges について探る
• Agent-as-a-Judge について学ぶ
• Judge Builder をstart
• Week of Agents で行われた他の発表もご覧ください