MLflowでのモデル評価

現在、多くのデータサイエンティストやMLエンジニアは、モデル管理にMLflowを使用しています。MLflowは、実験、再現性、デプロイメント、モデルレジストリなど、MLライフサイクルのあらゆる側面を管理できるオープンソースプラットフォームです。MLモデル開発における重要なステップは、新しいデータセットでのパフォーマンスを評価することです。

モチベーション

なぜモデルを評価するのか？

モデル評価はMLライフサイクルに不可欠な部分です。これにより、データサイエンティストはモデルのパフォーマンスを測定、解釈、説明することができます。モデルがどのように、そしてなぜそのようにパフォーマンスを発揮しているのかについての洞察を提供することで、モデル開発の期間を短縮します。特にMLモデルの複雑さが増すにつれて、MLモデルのパフォーマンスを迅速に観察し理解できることは、成功するML開発の道のりにおいて不可欠です。

MLflowにおけるモデル評価の現状

現在、多くのユーザーは、python_function (pyfunc) モデルフレーバーのパフォーマンスをmlflow.evaluate APIを通じて評価しています。このAPIは、分類モデルと回帰モデルの評価をサポートしています。組み込みのタスク固有のパフォーマンスメトリック、モデルパフォーマンスプロット、およびモデル説明を計算してMLflow Trackingサーバーに記録します。

組み込みの評価メトリックセットに含まれていないカスタムメトリックに対してMLflowモデルを評価するには、ユーザーはカスタムモデル評価プラグインを定義する必要があります。これには、ModelEvaluatorインターフェースを実装するカスタム評価クラスを作成し、その後MLflowプラグインの一部として評価エントリポイントを登録する必要があります。この硬直性と複雑さは、ユーザーにとって制約となる可能性があります。

内部顧客調査によると、回答者の75％が、精度や損失のような基本的なメトリックに加えて、専門的でビジネスに焦点を当てたメトリックを頻繁に、または常に使用していると回答しています。データサイエンティストは、これらのカスタムメトリックがビジネス目標（例：コンバージョン率）をよりよく表し、モデルの予測自体では捉えられない追加のヒューリスティックを含んでいるため、しばしば利用します。

このブログでは、ユーザー定義のカスタムメトリックでMLflowモデルを評価する簡単で便利な方法を紹介します。この機能により、データサイエンティストはモデル評価段階でこのロジックを簡単に組み込み、さらなる下流分析なしに最良のパフォーマンスを発揮するモデルを迅速に特定できます。

*注：MLflow 2.4では、mlflow.evaluateはLLMテキスト、テキスト要約、および質問応答モデルをサポートするように拡張されました

使い方

組み込みメトリック

MLflowには、分類モデルと回帰モデルの両方で一般的に使用されるパフォーマンスおよびモデル説明メトリックのセットが組み込まれています。これらのメトリックでモデルを評価するのは簡単です。必要なのは、テストデータとターゲットを含む評価データセットを作成し、mlflow.evaluateを呼び出すことだけです。

モデルの種類によって、異なるメトリックが計算されます。組み込みメトリックに関する最新の情報については、mlflow.evaluateのAPIドキュメントのデフォルト評価者の動作セクションを参照してください。

例

以下は、分類MLflowモデルが組み込みメトリックで評価される簡単な例です。

まず、必要なライブラリをインポートします

次に、データセットを分割し、モデルを適合させ、評価データセットを作成します

最後に、MLflow実行を開始し、mlflow.evaluateを呼び出します

MLflow UIでログされたメトリックとアーティファクトを見つけることができます。

カスタムメトリック

モデルをカスタムメトリックに対して評価するには、カスタムメトリック関数のリストをmlflow.evaluate APIに渡すだけです。

関数定義の要件

カスタムメトリック関数は、次の順序で2つの必須パラメータと1つのオプションパラメータを受け入れる必要があります。

1. eval_df: prediction列とtarget列を含むPandasまたはSpark DataFrame。

   例：モデルの出力が3つの数値のベクトルである場合、eval_df DataFrameは次のようになります。

   

2. builtin_metrics: 組み込みメトリックを含む辞書。

   例：回帰モデルの場合、builtin_metricsは次のようになります。
3. (オプション) artifacts_dir: カスタムメトリック関数がMLflowにログする前に一時的に生成されたアーティファクトを保存するために使用できる一時ディレクトリへのパス。

   例：これは、特定の環境設定によって異なる場合があります。たとえば、MacOSでは次のようになります。

   ファイルアーティファクトがartifacts_dir以外の場所に保存されている場合は、mlflow.evaluateの完全な実行が完了するまで、それらが永続化されることを確認してください。

戻り値の要件

関数は、生成されたメトリックを表す辞書を返す必要があり、オプションで生成されたアーティファクトを表す2番目の辞書を返すことができます。両方の辞書について、各エントリのキーは対応するメトリックまたはアーティファクトの名前を表します。

各メトリックはスカラーである必要がありますが、アーティファクトを定義する方法はいくつかあります。

• アーティファクトファイルへのパス
• JSONオブジェクトの文字列表現
• Pandas DataFrame
• NumPy配列
• Matplotlib図
• その他のオブジェクトは、デフォルトのプロトコルでピクル化が試行されます

詳細な定義については、mlflow.evaluate のドキュメントを参照してください。

例

カスタムメトリクスを使用する具体的な例を見てみましょう。ここでは、カリフォルニア住宅データセットからトイモデルを作成します。

次に、データセットとモデルをセットアップします。

ここからがエキサイティングな部分です。カスタムメトリクス関数とカスタムアーティファクトを定義します！

最後に、これらすべてをまとめるために、MLflowの実行を開始し、mlflow.evaluateを呼び出します。

ログされたカスタムメトリクスとアーティファクトは、デフォルトのメトリクスとアーティファクトと共に表示されます。赤枠で囲まれた領域は、実行ページにログされたカスタムメトリクスとアーティファクトを示しています。

評価結果へのプログラムからのアクセス

これまでは、MLflow UIで組み込みメトリクスとカスタムメトリクスの両方の評価結果を調べてきました。しかし、mlflow.evaluateによって返されるEvaluationResultオブジェクトを通じて、プログラムからアクセスすることもできます。ここでは、上記のカスタムメトリクスの例を続け、プログラムからその評価結果にアクセスする方法を見てみましょう。（ここからは、resultがEvaluationResultインスタンスであると仮定します）。

計算されたメトリクスのセットは、メトリクスの名前とスカラー値の両方を含むresult.metrics辞書を通じてアクセスできます。result.metricsの内容は以下のようになります。

同様に、アーティファクトのセットはresult.artifacts辞書を通じてアクセスできます。各エントリの値はEvaluationArtifactオブジェクトです。result.artifactsの内容は以下のようになります。

サンプルノートブック

• 簡単な例
• 包括的な例

内部の仕組み

以下の図は、これが内部でどのように機能するかを示しています。

結論

このブログ記事では、以下の点について説明しました。

• モデル評価の重要性と、MLflowで現在サポートされている内容。
• MLflowユーザーがカスタムメトリクスをMLflowモデルに簡単に組み込むことがなぜ重要なのか。
• デフォルトメトリクスでモデルを評価する方法。
• カスタムメトリクスでモデルを評価する方法。
• MLflowがモデル評価をバックグラウンドでどのように処理するか。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事