高品質なドメイン特化エージェントを、95%低コストで構築する方法

高品質なGenAIエージェントは、継続的に評価する必要があります。しかし、テストをスケールアップすると、コストが予算を上回る可能性があります。Databricks上のMLflowを使用すると、チームはコストを障壁とすることなく、多くのメトリクスでエージェントをテストできます。

事前定義済みジャッジ向けの新しいトークンベースの料金モデル

エージェントをプロトタイプから本番環境に移行させるには、一般的なベンチマークだけでなく、お客様のドメイン（例: 契約書、カスタマー サポート、申請書類）を理解することが成功の鍵となります。MLflowの事前定義済みジャッジは、プロンプトエンジニアリングに頼ることなく、正確性、忠実性、関連性、安全性、検索性を自動的に評価するのに役立ちます。

本番スケールでの評価コストを改善する方法について、お客様から検討を求める声が寄せられていました。本日より、ジャッジの料金体系として、固定ブロック単位ではなくトークンベースの価格設定を導入します。

• 100万入力トークンあたり0.15ドルが課金されます。
• また、出力トークン100万あたり0.60ドル
• 平均して、精度を損なうことなくコストが約95%削減されます。

10,000トレースの場合の例

～より前

• ジャッジリクエストあたり0.0175ドル
• リクエストあたり5,000トークン
• 結果: 10,000トレース × 5ジャッジ = 1日あたり875ドル

現在

• 入力トークン100万あたり$0.15
• 出力トークン 100 万あたり 0.60 ドル
• 結果：10,000トレース × 5ジャッジ = $45/日
  • 入力: 50,000リクエスト × 4,000トークン × $0.15/1M = $30
  • 出力: 50,000 リクエスト × 500 トークン × $0.60/1M = $15

トークンベースのアプローチにより、コストを大幅に削減できると同時に、その計算方法の完全な透明性も確保できます。

実戦でテスト済みの評価プロンプトをオープンソース化

効果的な評価プロンプトを作成するには、特にドメイン固有のアプリケーションにおいて、精度とトークン効率のバランスを取る必要があります。金融、ヘルスケア、技術文書などの分野では、各チームが作業を重複させながら、プロンプトのファインチューニングに数週間を費やしています。

この課題を解決するため、MLflow GenAIで使われている評価プロンプトをオープンソース化します。これらのプロンプトは、金融、ヘルスケア、技術文書、安全性といった業界固有のコンテキストで、実世界のシナリオで高いパフォーマンスを発揮するように改良されてきました。そのまま使用することも、特定のユースケースに合わせて調整することも可能です。

当社の本番環境レベルのプロンプトは こちらでご覧いただけます。 

これらのプロンプトは、以下のような厳格なベンチマークで検証されています。

• FinanceBench: 金融文書に関する質疑応答
• HotPotQA: 複数のドキュメントにまたがるマルチホップ推論
• DocsQA: 技術文書の理解
• RAGTruth：検索拡張生成の精度
• Natural Questions: 実際のGoogle検索クエリ
• HarmBench: LLMの安全性
• Databricksの顧客データセット（許可を得て使用）

組み込みジャッジの先へ: 独自のモデルを持ち込む (Bring Your Own Model)

Databricksの組み込みジャッジは強力ですが、一部の組織では完全なコントロールが求められます。これにより、追加費用なしで、独自のモデル (OpenAI、Anthropic、またはファインチューニングしたモデル) を評価に利用できるようになります。モデルの使用料のみをお支払いいただきます。

これにより、次のことができます：

• モデル選択に関する特定のコンプライアンス要件を遵守
• 既存のLLMプロバイダーとのエンタープライズ契約を活用
• お客様のデータでトレーニングされた、特化モデルを使用
• 評価パイプライン全体を制御

初日から本番環境に対応

コスト効率の高い評価も、本番環境のニーズに合わせてスケールできなければ意味がありません。Databricks上のMLflow GenAI評価は、以下を提供します。

• Unity Catalogとの連携: エンタープライズレベルのセキュリティでトレースと評価データを統制
• Delta Lakeストレージ: トレースと評価データをDelta形式で保存することで、これらのデータからカスタムダッシュボードやデータパイプラインを構築できます。
• MLflowとの完全な統合: MLflowでトレースと評価結果を直接表示
• サーバーレスコンピューティング: インフラ管理は不要で、料金は使用した分だけです。

今すぐ始める

新しい料金体系とオープンソースのプロンプトは、すべてのDatabricksのお客様がすぐに利用可能です。はじめ方はこちらです。

1. 既存のMLflow評価ユーザーの方へ: お使いのジャッジでは新しい料金モデルが自動的に適用されるため、ご対応は不要です。
2. 新規ユーザーの方へ: まずはクイックスタートガイドをご覧ください。DatabricksでAIエージェントを構築する方法については、最新のコースでご確認いただけます。
   1. AI エージェントの基礎: AI エージェントの基本について学ぶ 90 分間の入門コース。AI エージェントが組織にもたらす価値について、実際の例を挙げて解説します。
   2. AIエージェント入門: わずか2時間強で、理論からDatabricksでの最初のエージェントの構築とデプロイまでを実践します。
3. MLflow OSSユーザー向け: オープンソース化されたプロンプトにアクセスするには、MLflow 3.4.0以降にアップデートしてください。

生成AIアプリケーション評価の新たな章

コストを95%削減し、本番環境でテスト済みのプロンプトをオープンソース化することで、大規模な評価をより利用しやすくします。金融、ヘルスケア、CXのいずれの分野においても、予算を超えることなく、エージェントの品質を継続的に監視できます。

エージェント評価戦略を刷新しませんか？ 無料で始めるか、ドキュメントをご覧ください。