2025年10月15日

高品質なドメイン特化エージェントを、95%低コストで構築する方法

MLflow GenAI評価にトークンベースの料金体系を導入

によってアヴェシュ・シン, Euirim Choi, Samraj Moorjani 、渡辺佑紀による投稿

評価コストを95%削減: MLflowの新しいトークンベースの料金体系により、厳密さを損なうことなく日々の評価コストを削減します。
オープンソース化されたプロンプト: 金融、ヘルスケア、技術文書、安全性など、さまざまな分野を対象に本番環境でテストされた評価プロンプトにアクセスできます。
柔軟なジャッジオプション: 最適化された組み込みモデルの利用や、独自のLLMの持ち込みにより、コンプライアンス、コスト、ドメイン固有のニーズに大規模に対応できます。

高品質なGenAIエージェントは、継続的に評価する必要があります。しかし、テストをスケールアップすると、コストが予算を上回る可能性があります。Databricks上のMLflowを使用すると、チームはコストを障壁とすることなく、多くのメトリクスでエージェントをテストできます。

事前定義済みジャッジ向けの新しいトークンベースの料金モデル

エージェントをプロトタイプから本番環境に移行させるには、一般的なベンチマークだけでなく、お客様のドメイン（例: 契約書、カスタマーサポート、申請書類）を理解することが成功の鍵となります。MLflowの事前定義済みジャッジは、プロンプトエンジニアリングに頼ることなく、正確性、忠実性、関連性、安全性、検索性を自動的に評価するのに役立ちます。

本番スケールでの評価コストを改善する方法について、お客様から検討を求める声が寄せられていました。本日より、ジャッジの料金体系として、固定ブロック単位ではなくトークンベースの価格設定を導入します。

100万入力トークンあたり0.15ドルが課金されます。
また、出力トークン100万あたり0.60ドル
平均して、精度を損なうことなくコストが約95%削減されます。

10,000トレースの場合の例

～より前

ジャッジリクエストあたり0.0175ドル
リクエストあたり5,000トークン
結果: 10,000トレース × 5ジャッジ = 1日あたり875ドル

現在

入力トークン100万あたり$0.15
出力トークン 100 万あたり 0.60 ドル
結果：10,000トレース × 5ジャッジ = $45/日
- 入力: 50,000リクエスト × 4,000トークン × $0.15/1M = $30
- 出力: 50,000 リクエスト × 500 トークン × $0.60/1M = $15

トークンベースのアプローチにより、コストを大幅に削減できると同時に、その計算方法の完全な透明性も確保できます。

MLflowのトレースは、LLMジャッジまたは人間のアノテーターによって自動的に評価できます。 — Traces in MLflow can be automatically assessed by LLM judges, or by human annotators.

実戦でテスト済みの評価プロンプトをオープンソース化

効果的な評価プロンプトを作成するには、特にドメイン固有のアプリケーションにおいて、精度とトークン効率のバランスを取る必要があります。金融、ヘルスケア、技術文書などの分野では、各チームが作業を重複させながら、プロンプトのファインチューニングに数週間を費やしています。

この課題を解決するため、MLflow GenAIで使われている評価プロンプトをオープンソース化します。これらのプロンプトは、金融、ヘルスケア、技術文書、安全性といった業界固有のコンテキストで、実世界のシナリオで高いパフォーマンスを発揮するように改良されてきました。そのまま使用することも、特定のユースケースに合わせて調整することも可能です。

当社の本番環境レベルのプロンプトはこちらでご覧いただけます。

これらのプロンプトは、以下のような厳格なベンチマークで検証されています。

FinanceBench: 金融文書に関する質疑応答
HotPotQA: 複数のドキュメントにまたがるマルチホップ推論
DocsQA: 技術文書の理解
RAGTruth：検索拡張生成の精度
Natural Questions: 実際のGoogle検索クエリ
HarmBench: LLMの安全性
Databricksの顧客データセット（許可を得て使用）

組み込みジャッジの先へ: 独自のモデルを持ち込む (Bring Your Own Model)

Databricksの組み込みジャッジは強力ですが、一部の組織では完全なコントロールが求められます。これにより、追加費用なしで、独自のモデル (OpenAI、Anthropic、またはファインチューニングしたモデル) を評価に利用できるようになります。モデルの使用料のみをお支払いいただきます。

これにより、次のことができます：

モデル選択に関する特定のコンプライアンス要件を遵守
既存のLLMプロバイダーとのエンタープライズ契約を活用
お客様のデータでトレーニングされた、特化モデルを使用
評価パイプライン全体を制御

初日から本番環境に対応

コスト効率の高い評価も、本番環境のニーズに合わせてスケールできなければ意味がありません。Databricks上のMLflow GenAI評価は、以下を提供します。

Unity Catalogとの連携: エンタープライズレベルのセキュリティでトレースと評価データを統制
Delta Lakeストレージ: トレースと評価データをDelta形式で保存することで、これらのデータからカスタムダッシュボードやデータパイプラインを構築できます。
MLflowとの完全な統合: MLflowでトレースと評価結果を直接表示
サーバーレスコンピューティング: インフラ管理は不要で、料金は使用した分だけです。

今すぐ始める

新しい料金体系とオープンソースのプロンプトは、すべてのDatabricksのお客様がすぐに利用可能です。はじめ方はこちらです。

既存のMLflow評価ユーザーの方へ: お使いのジャッジでは新しい料金モデルが自動的に適用されるため、ご対応は不要です。
新規ユーザーの方へ: まずはクイックスタートガイドをご覧ください。DatabricksでAIエージェントを構築する方法については、最新のコースでご確認いただけます。
1. AI エージェントの基礎: AI エージェントの基本について学ぶ 90 分間の入門コース。AI エージェントが組織にもたらす価値について、実際の例を挙げて解説します。
2. AIエージェント入門: わずか2時間強で、理論からDatabricksでの最初のエージェントの構築とデプロイまでを実践します。
MLflow OSSユーザー向け: オープンソース化されたプロンプトにアクセスするには、MLflow 3.4.0以降にアップデートしてください。

生成AIアプリケーション評価の新たな章

コストを95%削減し、本番環境でテスト済みのプロンプトをオープンソース化することで、大規模な評価をより利用しやすくします。金融、ヘルスケア、CXのいずれの分野においても、予算を超えることなく、エージェントの品質を継続的に監視できます。

エージェント評価戦略を刷新しませんか？無料で始めるか、ドキュメントをご覧ください。