畳み込みニューラルネットワークの応用：オンデマンド ウェビナーと FAQ が公開中！

Databricks の Notebook を試してみる

10月25日、Databricks のテクニカル プロダクト マーケティング マネージャーである Denny Lee を迎え、ライブウェビナー「畳み込みニューラルネットワークの応用」を開催しました。これは、Databricks が提供する無料のディープラーニング基礎シリーズの第3回目のウェビナーです。

このウェビナーでは、畳み込みニューラルネットワーク（CNN）について詳しく解説しました。CNN は、入力が画像であることを前提とするニューラルネットワークの一種であり、画像分類や物体認識に非常に効果的であることが実証されています。

特に、以下の点について説明しました。

• 幅、高さ、奥行きを持つ3次元にノードが配置され、畳み込みフィルターを適用して特徴を抽出できるCNNアーキテクチャ。
• 入力画像のピクセル領域から特徴を抽出するためのフィルターサイズ、ストライド、パディングの選択方法など、畳み込みカーネル（フィルター）の仕組み
• プーリング（サブサンプリング）は、画像サイズを縮小してパラメータ数を減らし、過学習のリスクを低減する手法です。

Databricks 上で Keras (TensorFlow バックエンド) を使用して、これらのコンセプトのいくつかを紹介しました。今日から始めるためのノートブックへのリンクはこちらです。

• Databricks での Keras CNN を使用した MNIST デモ（パート3）

パート1とパート2は、引き続き以下でご覧いただけます。

無料でDatabricks 統合分析プラットフォームにアクセスし、ノートブックをお試しになりたい場合は、こちらからフリートライアルをご利用いただけます。

最後に行った Q&A の質問と回答を、トピック別に以下にまとめました。

基本

Q: ニューラルネットワークを使用するために、その背後にある数学を本当に理解する必要はありますか？

ニューラルネットワークを利用するにあたり、その背後にある数学を完全に理解することは必ずしも必要ではありません。しかし、適切なアルゴリズムを選択し、ディープラーニング (および機械学習) モデルを最適化、改善、設計する方法を理解するためには、これらの基礎を理解することが重要です。このトピックに関する良い記事は、Wale Akinfaderin 氏の「The Mathematics of Machine Learning」です。

畳み込みニューラルネットワーク

Q: なぜ通常のニューラルネットワークではなく CNN を使用するのですか？また、CNNは実生活でどのように使われ、どのような応用例がありますか？

ソース： https://cs231n.github.io/convolutional-networks/

ニューラルネットワークのトレーニングで詳しく説明されているように、畳み込みニューラルネットワーク (CNN) は、通常の人工ニューラルネットワークに似ていますが、前者は入力が画像であるという明示的な仮定をします。  問題は、全結合型の人工ニューラルネットワーク (左の図のように) は、画像に対してうまくスケールしないことです。たとえば、200 ピクセル x 200 ピクセル x 3 つのカラーチャンネル (例:RGB) は、120,000個の重みになります。画像が大きくなるか、(チャンネル方向で) 複雑になるほど、より多くの重みが必要になります。CNN の場合、ノードは 3D (幅、高さ、奥行き) で構成された前の層の小さな領域にのみ接続されます。 ノードが全結合ではないため、これにより重みの数 (つまりカーディナリティ) が減少し、ネットワークはパスをより迅速に完了できます。

Q: CNNはレイヤー、サイズ、タイプのネットワークです。どのように選べばよいですか？何に基づいて？つまり、アーキテクチャはどのように設計すればよいですか？

ニューラルネットワーク入門オンデマンドウェビナーと FAQ が利用可能になりましたで述べられているように、出発点に関する一般的な経験則（例：隠れ層を 1 つから始めて適宜拡張する、入力ノードの数は特徴量の次元と等しくする、など）はありますが、重要なのはテストが必要だということです。  つまり、モデルをトレーニングし、そのモデルに対してテストランや検証ランを行って、精度（高いほど良い）と損失（低いほど良い）を把握するということです。アーキテクチャの設計に関しては、よりよく理解され、研究されているアーキテクチャから始めるのが最善です（例：AlexNet、LeNet-5、Inception、VGG、ResNet など）。  ここから、エクスペリメントをランしながら層の数、サイズ、種類を調整できます。

Q: なぜ全結合層にソフトマックスを使用するのですか？

ロジスティック回帰を扱う場合、これは2値分類のためのベルヌーイ分布を前提としています。  2つを超える分類器に適用する必要がある場合（MNIST分類問題など）、多項分布であるベルヌーイ分布の一般化が必要になります。  多項分布（多クラス分類器）に適用される回帰手法は、ソフトマックス回帰として知られています。MNISTでは、全結合層で手書きの数字を0, ..., 9のいずれかの値に分類するため、ソフトマックスを使用します。

Q: フィルターサイズは常に奇数ですか？

フィルタサイズの一般的なアプローチは、f を奇数とする f x f です。  「Applying ニューラルネットワーク」のスライド39では明示的に述べられていませんが、ソースピクセルとその周囲のピクセルを畳み込むことが目的であるため、  fは奇数です。  これは 2D 空間でソースピクセルと、その外側 1 ピクセル分をカバーするため、最低でもフィルターサイズは 3 x 3 になります。

f のサイズを偶数にすると、ソースピクセルの周りのピクセルの半分未満しか畳み込まれないことになります。  さらに詳しく知りたい場合は、この質問に対する優れた SO の回答が https://datascience.stackexchange.com/questions/23183/why-convolutions-always-use-odd-numbers-as-filter-size/23186 で見つかります。

Q: 可変長の入力を持つCNNを実装するにはどうすればよいですか？  つまり、サイズが異なる画像を含むトレーニングデータについて、何か提案はありますか？

一般的に、CNN へのすべての入力画像が同じサイズになるように、画像をリサイズするか、ゼロパディングする必要があります。 LSTM、RNN、または再帰型ニューラルネットワーク (特にテキストデータの場合) を含む、可変サイズの入力を処理できるアプローチがいくつかありますが、これは多くの場合、簡単なタスクではないことに注意してください。

機械学習 環境とリソース

Q: 私は Databricks の有料ユーザーです。  自分のPCでKerasをランする方法は知っていますが、Databricks内ではまだです。

Databricks を使用する場合、Keras、TensorFlow、XGBoost、Horovod、scikit-learn などを含むDatabricks Runtime for Machine Learningクラスターを起動します。  詳細については、「Announcing Databricks Runtime for Machine Learning」をご参照ください。

Q: 機械学習についても、同様のセッションはありましたか？

優れたDatabricksウェビナーが多数公開されています。そのうち、機械学習に焦点を当てたものには、次のようなものがあります（ただし、これらに限定されるものではありません）：

• MLflowの紹介：完全な機械学習ライフサイクルのためのインフラストラクチャ
• Apache® Spark を使用した R コードの並列化
• リアルタイム予測サービングのための Apache Spark™ MLlib モデルの実稼働化
• データブリックスと機械学習が支えるゲノミクスの未来
• GraphFrames: Apache® Spark™ 向けの DataFrame ベースのグラフ
• Apache Spark MLlib：クイックスタートから Scikit-Learn まで

関連リソース

• Machine Learning 101
• Andrej Karparthy の ConvNetJS MNIST デモ
• ニューラルネットワークにおけるバックプロパゲーションとは何ですか？
• CS231n: ビジュアル認識のための畳み込みニューラルネットワーク
  • 特にCS231n: 講義7: 畳み込みニューラルネットワーク
• ニューラルネットワークとディープラーニング
• TensorFlow
• ディープ可視化ツールボックス
• TensorFlowによるバックプロパゲーション
• TensorFrames: Google TensorFlow と Apache Spark
• Deep Learning ライブラリと Apache Spark の統合
• ディープラーニング パイプラインを簡単に構築、スケーリング、デプロイ

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事