マネージド MLflow

MLflowのオープンソースでOpenTelemetry互換のトレース機能を使用し、プロンプト、検索、ツール呼び出しを含む入力、出力、ステップバイステップの実行をキャプチャします。一般的なGenAIライブラリを自動的にインストルメント化するか、トレースを直接取り込みます。インタラクティブなタイムラインビュー、横並び比較、ベンダーロックインなしにより、デバッグとイテレーションを高速化します。

LLM-as-a-judge と人間のフィードバックを利用し、MLflow UI で直接GenAI エージェントを評価できます。本番運用トレースからデータセットを構築し、バージョン間で出力を比較し、ハルシネーションや関連性などの構築済みまたはカスタムのメトリクスで品質を評価できます。Web UI やアプリの APIs を介して専門家のフィードバックを組み込み、人間の判断と整合させ、結果を継続的に改善できます。

MLflowでバージョンプロンプト、エージェント、アプリケーションコードを一か所にまとめられます。Link traces, evaluations, and performance data to specific versions for full lifecycle リネージ.ワークフロー間でプロンプトを再利用・比較し、関連するメトリクスやパラメーターとともにエージェントのバージョンを管理し、GitやCI/CDと統合することでガバナンスされた反復を加速できます。

MLflowのダッシュボード、トレースエクスプローラー、自動アラートでGenAIの品質をリアルタイムで監視できます。LLMジャッジ評価やカスタム指標を使って、PII漏洩、レイテンシーの急増、役に立たない回答などの問題を追跡できます。オンライン評価を設定し、ユーザーに影響が出る前に迅速に対応してください。

あらゆる機械学習またはディープラーニングフレームワークのパラメーター、メトリクス、アーティファクト、モデルを自動的に追跡します。MLflowは完全な監査証跡を提供し、アーキテクチャ、チェックポイント、トレーニングワークフロー全体にわたる詳細な比較を大規模にサポートします。
 

分類や回帰分析などのタスクに組み込みおよびカスタムのメトリクスを自動的に記録します。ベースラインと結果を比較し、ROC曲線のようなアーティファクトを記録し、新しいデータセットでモデルを検証します—これらは本番運用に届く前に行われます。

Unity Catalog と統合された MLflow モデルレジストリは、モデルの一元的な発見、共有、管理を可能にし、エンドツーエンドのガバナンスを実現します。環境全体にわたるモデルパフォーマンスの完全な可視性により、デプロイステータスを追跡し、チーム間で連携できます。

すべてのコード、依存関係、重みを含む再現可能なパッケージング形式でモデルをデプロイします。REST APIsとして提供するか、Databricks Model Servingを介してCPUとGPUの両方に最適化されたai_queryで高throughputのバッチ推論を実行します。