MLflow 3.0：生成AIを“安心して”構築・評価・本番運用できる、オールインワンプラットフォーム

MLflow は、スケーラブルな MLOps の基盤として広く採用されており、現在では月間3,000万回以上のダウンロード、世界中850人以上の開発者による貢献に支えられ、数千社の企業で機械学習やディープラーニングのワークロードを支えています。

そして本日、私たちは MLflow 3.0 を発表できることを非常に嬉しく思います。
これは、生成AIにも従来と同等の厳格性と信頼性をもたらすと同時に、あらゆるAIワークロードにおける中核機能も大幅に強化した、大きな進化です。

これらの新機能は、オープンソース版 MLflow でも、Databricks 上のマネージドサービスとしても利用可能で、エンタープライズ向けの GenAI 開発体験を実現します。

生成AIでは、可観測性、品質評価、急速に変化するプロンプトや設定の管理など、新たな課題が生まれていますが、
MLflow 3.0 は、こうした課題を追加の専用プラットフォームなしに解決します。

MLflow 3.0 は、生成AIアプリケーション、従来型の機械学習、ディープラーニングのすべてを対象とした統一プラットフォームです。

GenAIエージェントの構築、分類器のトレーニング、ニューラルネットのファインチューニング──どのユースケースでも、
MLflow 3.0 は、一貫したワークフロー、標準化されたガバナンス、プロダクションレベルの信頼性を提供し、あらゆるニーズにスケールして対応します。

MLflow 3.0の概要：

• 生成AIに特化した包括的な機能
  　トレーシング、LLMジャッジ、ユーザーフィードバック収集、アプリケーションのバージョン管理、プロンプト管理など、
  　高品質なアプリケーションと完全な可観測性を実現するための機能を網羅。

• 迅速なデバッグと原因分析
  　入力・出力・レイテンシ・コストなどを含む完全なトレースを可視化。
  　それらがどのプロンプト・データ・アプリバージョンによって生成されたかもひと目で確認可能。

• 本番データからの継続的な改善
  　実際の使用データとフィードバックをもとに、評価用データセットを強化し、アプリケーションを自動で洗練。

• 統一プラットフォーム
  　生成AI、従来の機械学習、ディープラーニングまで、すべてのワークロードに対応。
  　コラボレーション、ライフサイクル管理、ガバナンスを統一されたツール群で提供。

• Databricks でのエンタープライズスケール
  　世界中の数千社において本番AIワークロードを支える、実績ある信頼性とパフォーマンス。

GenAIの課題：分断されたツール群とつかみづらい「品質」

生成AIの登場により、「品質」に対する考え方は大きく変わりました。
従来の機械学習では「正解ラベル」がありましたが、生成AIでは出力が自由形式で、微妙なニュアンスや多様性が存在します。
同じプロンプトに対しても、どれも正しいと言えるような異なる回答が複数返ってくるのが当たり前です。

• チャットボットの返答が「良い」とはどう判断すればいいのか？

• エージェントが幻覚（hallucination）を起こしていないと、どうやって確認するのか？

• プロンプト、検索、ツールの呼び出しが複雑に絡むチェーンを、どうデバッグすればいいのか？

これらの問いは、すべての企業が生成AIアプリケーションを構築する際に直面する3つの本質的な課題に行き着きます：

1. 可観測性（Observability）
   　アプリケーション内部で何が起きているかを理解すること、特に問題が発生したときにその原因を把握すること

2. 品質評価（Quality Measurement）
   　自由形式のテキスト出力を、手作業に頼らずスケーラブルに評価する方法

3. 継続的改善（Continuous Improvement）
   　本番環境から得た気づきやフィードバックをもとに、アプリケーションをより高品質に進化させていくループを構築すること

現在、多くの組織がこれらの課題に取り組む中で直面しているのが、ツールの分断です。
データ管理、可観測性と評価、デプロイメントといった機能をバラバラのツールで運用しているのが現状です。

しかしこのやり方では、大きなギャップが生まれてしまいます：

• 不具合のデバッグには複数のプラットフォームを行き来しなければならず、

• 評価は本番データと切り離された状態で孤立して行われ、

• ユーザーからのフィードバックはアプリ改善に活かされないまま、現場で埋もれてしまう。

結果として、チームはGenAIアプリの品質向上よりも、ツールの統合に時間を費やすことになり、この複雑さに直面した多くの組織が、体系的な品質保証をあきらめてしまっているのです。

「なんとなく動いているから」「十分よさそうだから」という理由で本番リリースされ、構造化されていない手動テストに頼ったまま、「うまくいくことを祈る」運用が繰り返されています。

高品質なGenAIアプリケーションを本番に出すためには、新しい機能が必要です。
しかしそれは、さらに多くのツールを使いこなすことを意味してはなりません。

そこで登場するのが MLflow 3.0。
すでに実績あるMLOpsの基盤を拡張し、GenAI にも対応する統合された単一プラットフォームとして、以下の機能を提供します：

• 20以上の GenAI ライブラリに対応した包括的なトレーシング
  　開発中・本番中を問わず、あらゆるリクエストを可視化。
  　コード・データ・プロンプトとの紐付けにより、トレースの信頼性が向上。

• LLMジャッジによる研究に基づいた評価機能
  　GenAIの出力品質を体系的に測定し、改善ポイントを明確化。

• 本番からのフィードバック収集を統合
  　エンドユーザーや専門家からの声を、デプロイ先に関係なく取り込み可能。
  　それを評価・可観測性の仕組みに直接フィードバックし、品質の継続的改善へとつなげます。

"MLflow 3.0のトレーシングは、私たちのAIパワードセキュリティプラットフォームをスケーリングするために不可欠でした。それは私たちにモデルの決定ごとにエンドツーエンドの可視性を提供し、デバッグをより早く、パフォーマンスを監視し、脅威が進化するように私たちの防御を確保します。シームレスなLangChainの統合と自動ログ取りにより、追加のエンジニアリングオーバーヘッドなしでこれらすべてを取得します。" — Sam Chou, Principal Engineer at Barracuda

MLflow 3.0 が、企業における高品質な生成AIアプリケーションの構築・評価・デプロイの方法をどのように変革するのかを示すために、実際のユースケース：ECサイトのカスタマーサポートチャットボットの構築を通して見ていきます。

この例を通じて、MLflow が 生成AIにおける3つの本質的課題（可観測性・品質評価・継続的改善）にどのように対応するのかを確認し、デバッグから本番運用までをスピーディに進める方法を学びます。

このプロセス全体で活用するのは、Databricks 上で提供される Managed MLflow 3.0。
Review App、Deployment Jobs、Unity Catalogによるガバナンスなど、スケーラブルなエンタープライズ開発に欠かせないツール群が統合されています。

ステップ1：本番レベルのトレーシングでパフォーマンス課題を特定する

ECチャットボットのベータ版がリリースされたものの、テスターからは
応答が遅い、商品レコメンドの精度が低いといった声が。

しかし、プロンプト、検索処理、ツール呼び出しなどが複雑に連鎖している GenAI アプリでは、
内部の挙動が見えないままでは、まるで手探りでのデバッグ。これがまさに、可観測性の課題です。

ここで、MLflow 3.0 の本番対応トレーシング機能が真価を発揮します。

たった数行のコードで、開発環境から本番環境まで、20以上のGenAIライブラリや独自ロジックの詳細なトレースをキャプチャ可能に。

軽量な mlflow-tracing パッケージはパフォーマンスにも優れ、必要なだけトレースを高速かつ効率的に記録できます。
この機能は OpenTelemetry を基盤としており、エンタープライズスケールでの可観測性と高い移植性を両立しています。

MLflow Tracing を使ってコードに計測処理を組み込むと、MLflow の UI から自動的に記録されたすべてのトレースを確認できるようになります。
タイムラインビューを見ると、レスポンスが15秒以上かかっていた原因が明らかに──

• アプリが各倉庫の在庫を順番にチェックしていた（5回の逐次APIコール）

• 顧客の全注文履歴（500件以上）を取得していたが、実際に必要なのは直近の注文だけ

そこで、倉庫の在庫確認を並列処理にし、注文履歴も最近のものだけに絞り込むことで、
レスポンスタイムは50%以上短縮されました。

ステップ2：LLMジャッジで品質を測定し、改善する

レイテンシの問題が解決したら、次は「品質」に目を向けます。
というのも、ベータテスターからは引き続き「おすすめ商品の精度が低い」との声があるからです。

しかし、品質を改善する前に、まずはその品質をどう測るかを考えなければなりません。
これが、生成AIにおける第2の課題です：
自由形式かつ多様な出力に対して、どうやって品質を定量的に評価するのか？

MLflow 3.0 を使えば、品質評価もシンプルです。

1. 本番トレースから評価用データセットを作成

2. Databricks Mosaic AI の Agent Evaluation を活用した、研究に裏打ちされた LLM ジャッジを実行

これにより、人手をかけずに信頼性の高い品質測定が可能になります。

これらの LLM ジャッジは、GenAI トレースにおけるさまざまな品質指標を評価し、問題点に対する詳細な理由付け（根拠）も提示してくれます。

評価結果を見てみると、問題の所在が明らかになります。
安全性や根拠の明確さのスコアは良好である一方、検索関連性（retrieval relevance）のスコアが65%と低く、検索システムが誤った情報を取得してしまうことが多く、それが関連性の低い応答につながっていたことが判明します。

MLflow の LLM ジャッジは、人間の専門家に匹敵するよう慎重に調整された評価ツールです。
さらに、自社の業務要件に合わせたカスタム評価基準（ジャッジ）も作成可能です。

実際のユーザーとのやり取り（成功例・エッジケース・難しいシナリオなど）から、評価用データセットを作成・バージョン管理でき、再現性のある品質評価が可能になります。MLflow は 大規模評価にも対応しており、あらゆる規模のGenAIアプリケーションにおいて、体系的で実用的な品質評価プロセスの構築を支援します。

ステップ3：専門家のフィードバックを活用して品質を向上させる

検索関連性スコアが65%という結果から、問題の根本原因は明らかになりました。
しかしそれを改善するには、「本来どんな情報を検索すべきだったのか」という理解が不可欠です。

そこで活躍するのが Review App。
これは AIの出力に対して、構造化された専門家のフィードバックを収集するためのWebインターフェースで、MLflow 3.0 と統合されています。
ここからが、本番のインサイトを品質向上につなげる“継続的改善”の始まりです。

まず、検索結果の質が悪かったトレースを対象に、製品の専門家によるレビューセッションを作成します。

たとえば、ユーザーが
「aptX HDコーデック対応で30時間以上バッテリーが持つ、200ドル以下のワイヤレスヘッドホン」
を求めているのに、ただの汎用ヘッドホンの一覧が返ってきた場合、
専門家がすべての要件を満たす製品がどれかを明確にアノテーションします。

これにより、「良い回答」とは何かをデータとして記録でき、次の最適化へとつなげる土台が築かれます。

Review App は、専門知識を持つ担当者が 実際のAIの応答や参照元ドキュメントを、直感的なWebインターフェース上でレビューできるツールです。
コードは一切不要で、非エンジニアでも簡単に利用できます。

レビューでは、正しく取得された商品をマークしたり、
たとえば「有線」と「ワイヤレス」の混同といった混乱の原因となるポイントを特定したりできます。

こうした専門家によるアノテーションは、今後の品質向上に向けたトレーニングデータとなり、
また LLMジャッジを現実の業務品質基準に合わせてチューニングする際にも重要な役割を果たします。

ステップ4：プロンプト、コード、設定変更を一元的に追跡する

専門家によるアノテーションをもとに、検索システムを再構築します。
キーワードマッチングから技術仕様を理解できるセマンティック検索に切り替え、未確認の商品機能については慎重な表現を促すようプロンプトも改善しました。
 

しかし、ここで生まれる疑問はこうです：
これらの変更は本当に品質向上につながっているのか？どうやって追跡・検証すればいいのか？

MLflow 3.0 の バージョントラッキング機能を使えば、その答えが見えてきます。

この機能は、アプリケーション全体をスナップショットとして記録します：

• アプリケーションのコード

• プロンプト

• LLMのパラメータ

• 検索・リランキングのロジック
  …などすべてを含めて保存。

各バージョンには、その期間中に生成されたトレースやメトリクスも自動的に紐付けられます。
問題が発生した際には、どのバージョンが原因だったのかを正確に特定できるため、品質管理や継続的改善にも強力に貢献します。

プロンプトは特に注意が必要です。
わずかな文言の違いがアプリケーションの挙動を大きく変えてしまうため、テストが難しく、リグレッション（性能の劣化）が起こりやすい領域です。

そこで登場するのが、MLflow の新機能「Prompt Registry」。
プロンプト管理にソフトウェアエンジニアリングの厳密さを取り入れることができます。

• Gitのようなスタイルでプロンプトのバージョン管理

• 本番環境で異なるバージョンをテストし、必要に応じて即時ロールバック

• UI上でバージョン間の差分をビジュアルで比較表示し、何が変わったのか、パフォーマンスにどう影響したのかを一目で確認

さらに、この Prompt Registry は DSPy オプティマイザーとも統合されており、
評価データから自動的に改善されたプロンプトを生成することも可能です。

このように、包括的なバージョントラッキングを整えることで、
自分の変更が実際に品質向上につながったのかを、確実に検証できるようになります。

修正の効果は明らかです。
検索関連性は65％から91％に、応答の関連性も93％に向上しました。

ステップ5：本番環境にデプロイしてモニタリングする

品質改善が確認できたら、いよいよ本番環境へデプロイです。
MLflow 3.0 の Deployment Jobs を使えば、品質基準を満たしたアプリケーションのみが本番環境にリリースされるように制御できます。

アプリケーションの新バージョンを登録すると、自動で評価が実行され、その結果が承認用に表示されます。
さらに、Unity Catalog と完全に統合されており、ガバナンスや監査ログも万全です。

このモデル登録ワークフローは、従来の機械学習モデルやディープラーニングモデルだけでなく、生成AIアプリケーションにも対応しており、すべてのAIワークロードで統一された管理が可能になります。

Deployment Jobs によって追加の品質チェックが自動で実行され、関係者がその結果をレビューした後、改良されたチャットボットはすべての品質基準をクリアし、本番環境へのリリースが承認されます。

これからは数千人規模のユーザーにサービスを提供することになるため、アプリケーションにエンドユーザーからのフィードバックを収集する仕組みを組み込みます。

本番リリース後、ダッシュボードを見ると、顧客満足度が高く推移していることが分かります。
これは、あなたの改善によって正確な商品レコメンデーションが提供できるようになった結果です。

LLMジャッジによる自動品質モニタリングとリアルタイムのユーザーフィードバックの組み合わせにより、アプリケーションがきちんと価値を提供できているという確かな手応えがあります。

もし問題が発生したとしても、トレースとフィードバックのデータがあるので、すぐに状況を把握して対応可能です。

データに基づく継続的な改善

本番環境で得られたデータは、今後の改善の道しるべとなります。
こうして「本番から得た気づきを開発に反映し、また本番へ戻す」継続的改善のループが完成します。

• ネガティブなフィードバックが付いたトレースを評価用データセットに直接エクスポート

• バージョントラッキング機能で、各デプロイの成果を比較し、うまくいった変更点を特定

• 新たな問題が発生したら、該当トレースを収集 → 専門家がアノテーション → アプリ更新 → 再デプロイという一貫したプロセスで対応

さらに、各課題がそのまま回帰防止用のテストケースとなるため、
時間とともにアプリケーションはより強固で信頼性の高いものへと進化していきます。

本番環境にデプロイした後、ダッシュボードは顧客が正確な商品推奨を得ることで満足度が高いことを示しています。これはあなたの改善のおかげです。LLMジャッジからの自動品質監視とリアルタイムのユーザーフィードバックの組み合わせにより、アプリケーションが価値を提供していることに自信を持つことができます。何か問題が発生した場合、迅速に理解し対処するためのトレースとフィードバックがあります。

"MLflow 3.0 によって、Q&Aエージェントのデバッグと改善に必要な可視性を手に入れることができました。 以前は何時間もかかっていた試行錯誤が、今では各リトリーバルや推論ステップ、ツール呼び出しのすべてをたどれるため、わずか数分で原因を特定できるようになりました。" — Daisuke Hashimoto, Tech Lead at Woven by Toyota.

あらゆるAIワークロードにスケールする統合プラットフォーム

MLflow 3.0 は、これらすべてのAI機能をひとつの統合プラットフォームにまとめ上げました。

• GenAIアプリの詳細な挙動を捉えるトレーシング基盤は、従来のMLモデルのサービングにもそのまま利用可能

• デプロイメントのワークフローは、ディープラーニングモデルにもLLMベースのアプリケーションにも共通で対応

• Unity Catalogとの統合により、あらゆるAI資産に対して実績あるガバナンス体制を一貫して適用

このような統一的アプローチにより、複雑性を削減しつつ、全社的なAI管理を一貫性のある形で実現できます。

MLflow 3.0 の強化機能は、すべてのAIワークロードに恩恵をもたらします。

• GenAIアプリのバージョン管理を担う新しい「LoggedModel」機能は、
  　ディープラーニングのトレーニングチェックポイントの追跡もシンプルにします。

• GenAIと同様に、従来のMLモデルやDLのチェックポイントにも**完全な系譜情報（リネージ）**を持たせ、
  　学習実行、使用データセット、評価メトリクスを環境を超えて一元的に紐づけられます。

• Deployment Jobs によって、どんな種類のモデルでも自動品質チェック付きの高品質な本番デプロイが可能になります。

これらは、MLflow 3.0 が従来型MLやDLモデルにもたらす改善のほんの一例にすぎません。
すべてのAI資産を統合的に管理できることが、最大の強みです。

MLflow 3.0 は、Databricks 上での MLOpsとAIオブザーバビリティの基盤として、Mosaic AI Platform 全体とシームレスに連携します。

• モデル、GenAIアプリ、プロンプト、データセットをUnity Catalogで一元管理

• Databricks AI/BI を使えば、MLflowのメトリクスをダッシュボード化し、AI指標をビジネスインサイトへと変換することも可能です。

MLflow 3.0 をはじめよう

GenAIをこれから始める方も、すでに何百ものモデルやエージェントを運用している方も、Databricks の Managed MLflow 3.0 なら必要なツールがすべて揃っています。すでに数千の組織がMLflowを利用しており、AI開発のスタンダードとして広く採用されています。

今すぐ Databricks上の無料のManaged MLflow にサインアップすれば、数分でMLflow 3.0を使い始めることができます。エンタープライズレベルの信頼性・セキュリティに加え、Databricks Lakehouse Platform全体とのシームレスな統合も実現しています。

すでにDatabricks Managed MLflowをご利用の方は、MLflow 3.0にアップグレードすることで、強力な新機能にすぐにアクセスできます。現在の実験やモデル、ワークフローはそのまま動作し続けながら、生成AI向けの本番対応のトレーシング、LLMジャッジ、オンラインモニタリングなどが追加でご利用いただけます。移行作業は不要です。

次のステップ

• ドキュメンテーションを読む包括的なガイドとチュートリアルのために
• クイックスタートを試す そして、Managed MLflow 3.0の動作を確認します。
• コミュニティに参加する数千人のMLflowユーザーとつながる