2020年5月14日

畳み込みニューラルネットワークを車両分類に導入する

畳み込みニューラルネットワーク（CNN）は、主にコンピュータビジョンのタスクに使用される最先端のニューラルネットワークアーキテクチャです。CNNは、画像認識、物体特定、変化検出など、さまざまなタスクに応用できます。最近、当社のパートナーであるData Insightsは、大手自動車会社から、与えられた画像から車種を特定できるコンピュータビジョンアプリケーションを開発するという、困難な依頼を受けました。異なる車種が非常によく似て見えることがあり、また同じ車でも周囲の環境や撮影される角度によって見た目が大きく変わるため、そのようなタスクは、ごく最近まで不可能とされていました。

人工ニューラルネットワークの例。入力層と出力層の間に複数の層があり、入力は画像で、出力は車種の分類です。

しかし、2012 年頃から始まった「ディープラーニング革命」によって、このような問題への対処が可能になりました。車の概念を説明される代わりに、コンピュータは写真を繰り返し学習し、そのような概念を自ら学ぶことができます。ここ数年、人工ニューラルネットワークのさらなる技術革新により、人間レベルの精度で画像分類タスクを実行できるAIが生まれました。このような開発を基に、ディープ CNN をトレーニングして、車種によって車を分類できるようになりました。このニューラルネットワークは、196種類のモデル、16,000枚以上の車の写真を含むStanford Cars データセットでトレーニングされました。ニューラルネットワークが車の概念やさまざまなモデルを区別する方法を学習するにつれて、予測の精度は時間とともに向上し始めました。

パートナーと共に、データの前処理には Apache Spark™ と Koalas を、モデルのトレーニングには Keras と Tensorflow を、モデルと結果の追跡には MLflow を、REST サービスのデプロイには Azure ML を使用して、エンドツーエンドの機械学習パイプラインを構築します。Azure Databricks 内のこのセットアップは、ネットワークを高速かつ効率的にトレーニングするように最適化されており、さまざまな CNN 構成をはるかに迅速に試すことにも役立ちます。ほんの数回練習しただけで、CNNの精度は約85%に達しました。

画像を分類するための人工ニューラルネットワークのセットアップ

この記事では、ニューラルネットワークを本番運用に導入するために使用される主な手法のいくつかを紹介します。ご自身でニューラルネットワークを実行してみたい場合は、詳しいステップバイステップガイド付きの完全なノートブックを以下でご確認いただけます。

このデモでは、一般公開されている Stanford Cars Dataset を使用しています。これは、より包括的な公開データセットの 1 つですが、少し古いため、2012 年以降の車種は見つかりません (ただし、一度トレーニングすれば、転移学習によって新しいデータセットに簡単に置き換えることができます)。データは、ワークスペースにマウントできる ADLS Gen2 ストレージアカウントを通じて提供されます。

CNN画像分類のデモンストレーションで使用されるStanford Cars データセット。

データ前処理の最初のステップとして、画像はhdf5ファイル（トレーニング用に1つ、テスト用に1つ）に圧縮されます。これは、ニューラルネットワークによって読み込むことができます。hdf5 ファイルは、ここで提供されるノートブックの一部として提供される ADLS Gen2 ストレージに含まれているため、必要であればこのステップを完全に省略できます。

Koalasによる画像拡張

収集されたデータの量と多様性は、ディープラーニングモデルで達成できる結果に大きな影響を与えます。データ拡張は、実際に新しいデータを収集することなく、学習結果を大幅に改善できる手法です。大規模なニューラルネットワークのトレーニングで一般的に使用されるクロップ、パディング、水平方向の反転といった手法を使うと、トレーニング用とテスト用の画像の数を増やして、データセットを人為的に水増しすることができます。

トリミング、パディング、水平反転などのデータ拡張の例は、Koalas を使用することで可能になります。

大規模なトレーニングデータセットに拡張を適用すると、特に異なるアプローチの結果を比較する場合、非常にコストがかかる可能性があります。Koalas を使用すると、データサイエンスに馴染みのある Pandas API を使って、Python の既存の画像拡張フレームワークを簡単に試したり、複数ノードのクラスター上でプロセスをスケールアウトしたりできます。

KerasでのResNetのコーディング

CNNを分解すると、それは異なる「ブロック」で構成されており、各ブロックは入力データに適用される演算のグループを単に表したものです。これらのブロックは、大きく次のように分類できます。

アイデンティティブロック: データの形状を同じに保つ一連の操作。
畳み込みブロック: 入力データの形状をより小さい形状に縮小する一連の操作。

CNNは、Identity BlockとConvolution Block（ConvBlock）の両方からなる一連のブロックで、入力画像をコンパクトな数値のグループに変換します。これらの結果として得られる各数値は (正しくトレーニングされていれば)、最終的に画像の分類に役立つ有用な情報を示すはずです。残差 CNN では、各ブロックに追加のステップが加えられます。ブロックを構成する操作が適用される前にデータが一時変数として保存され、その後この一時データが出力データに追加されます。通常、この追加のステップは各ブロックに適用されます。例として、下の図は手書きの数字を検出するための単純化された CNN を示しています:

ニューラルネットワークを実装するには、さまざまな方法があります。より直感的な方法の1つは、Kerasを使用することです。Kerasは、ニューラルネットワークを構成する個々のステップを実行するための、シンプルなフロントエンドライブラリを提供します。Kerasは、TensorflowバックエンドまたはTheanoバックエンドと連携するように設定できます。ここでは、Tensorflowバックエンドを使用します。以下に示すように、Keras ネットワークは複数のレイヤーに分割されています。このネットワークでは、レイヤーの顧客の実装も定義しています。

入力層、畳み込み層、最大プーリング層の各構成要素に分解された Keras ニューラルネットワークの例。分類を支援するために使用される、継続��的な画像縮小プロセスを示します。

スケール層

トレーニング可能な重みを持つカスタム演算の場合、Kerasでは独自のレイヤーを実装できます。大量の画像データを扱う際、メモリの問題が発生することがあります。当初、RGB画像には整数データ（0〜255）が含まれています。バックプロパゲーションにおける最適化の一環として勾配降下法を実行すると、整数の勾配ではネットワークの重みを適切に調整するための十分な精度が得られないことがわかります。したがって、浮動小数点精度に変更する必要があります。ここで問題が発生する可能性があります。画像が 224x224x3 に縮小された場合でも、1万枚のトレーニング画像を使用すると、10億を超える浮動小数点エントリになります。データセット全体を浮動小数点精度に変換するのではなく、入力データを一度に1画像ずつ、必要なときにのみスケーリングする‘スケールレイヤー’を使用する方が良い方法です。これは、モデルのバッチ正規化の後に適用する必要があります。このスケールレイヤーのパラメータも、トレーニングを通じて学習できるパラメータです。

スコアリング中にもこのカスタムレイヤーを使用するには、クラスをモデルと一緒にパッケージ化する必要があります。MLflow を使用すると、Keras モデルに関連付けられた名前（文字列）をカスタムクラスまたは関数にマッピングする Keras の custom_objects 辞書でこれを実現できます。MLflow は、CloudPickle を使用してこれらのカスタムレイヤーを保存し、モデルが mlflow.keras.load_model() で読み込まれると自動的に復元します。および mlflow.pyfunc.load_model()。

MLflow と Azure Machine Learning で結果を追跡する

機械学習開発には、ソフトウェア開発に加えて、さらなる複雑さが伴います。無数のツールとフレームワークが存在するため、エクスペリメントの追跡、結果の再現、機械学習モデルのデプロイが困難になっています。Azure Machine Learning と連携することで、Azure Databricks を使用して MLflow で機械学習アプリケーションを確実に構築、共有、デプロイし、エンドツーエンドの機械学習ライフサイクルを加速・管理できます。

結果を自動的に追跡するために、既存または新規の Azure 機械学習ワークスペースを Azure Databricks ワークスペースにリンクできます。また、MLflow は Keras モデルの自動ログ記録 (mlflow.keras.autolog()) をサポートしています。エクスペリエンスがほぼ手間いらずになります。

MLflow を使用すると、Azure 機械学習ワークスペースの結果を自動的に追跡でき、Kerasモデルの自動ログ記録をシームレスにサポートします。

MLflow の組み込みモデル永続化ユーティリティは、Keras などのさまざまな一般的な ML ライブラリのモデルをパッケージ化するのに便利ですが、すべてのユースケースに対応しているわけではありません。たとえば、機械学習flowの組み込みフレーバーで明示的にサポートされていない機械学習ライブラリのモデルを使用したい場合があります。あるいは、カスタムの推論コードとデータをパッケージ化して MLflow モデルを作成することもできます。幸いなことに、MLflowはこれらのタスクを達成するための2つのソリューションを提供しています。カスタムPythonモデルとカスタムフレーバーです。

このシナリオでは、REST API クライアントからのリクエストに対応するモデル推論エンジンが使用可能であることを確認します。このために、以前に構築した Keras モデルをベースとし、Base64 でエンコードされた画像を含む JSON Dataframe オブジェクトを受け入れるカスタムモデルを使用しています。

次のステップでは、この py_model を使用し、 MLflow の Azure 機械学習統合を通じて Azure Container Instances サーバーにデプロイできます。

MLflow の Azure 機械学習統合を使用して Azure Container Instance にデプロイされた Keras モデルの例。

Azure Container Instancesに画像分類モデルをデプロイする

ここまでで、トレーニング済みの機械学習モデルが完成し、MLflow を使ってクラウド上のワークスペースにモデルを登録しました。最後のステップとして、モデルをサービスとして Azure Container Instances にデプロイします。

Web サービスはイメージであり、この場合は Docker イメージです。これにより、スコアリングロジックとモデル自体がカプセル化されます。この場合、カスタムの MLflow モデル表現を使用しています。これにより、スコアリングロジックが REST クライアントからの画像をどのように処理し、レスポンスがどのように形成されるかを制御できます。

Container Instances は、ワークフローのテストと理解に最適なソリューションです。スケーラブルな本番運用へのデプロイには、Azure Kubernetes Service の使用を検討してください。詳細については、デプロイ方法と場所を参照してください。

CNN画像分類入門

この記事とノートブックでは、Azure の本番運用でニューラルネットワークをトレーニングおよびデプロイする、エンドツーエンドのワークフローをセットアップするための主な手法を紹介します。リンク先のノートブックの演習では、Keras、 Databricks Koalas 、 MLflow 、 Azure ML といったツールを使い、独自の Azure Databricks 環境にこれを構築するステップを解説します。

開発者向けリソース

ノートブック
ビデオ: https://www.youtube.com/watch?v=mxEqcIbPqPs
GitHub： https://github.com/EvanEames/Cars
スライド： https://www.slideshare.net/jonbros/deep-learning-with-databricks
PDF: https://github.com/EvanEames/Cars/blob/master/CNN_howto.pdf

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事