TensorFlow™とDatabricksを使用したスケーラブルなエンドツーエンドのディープラーニング：オンデマンド ウェビナーとFAQが公開されました！
7月9日、私たちのチームは Databricks のデータサイエンスソリューションコンサルタントである Brooke Wenig と、ソフトウェアエンジニアである Sid Murching を迎えて、ライブウェビナー「TensorFlow™ と Databricks を使用したスケーラブルなエンドツーエンドディープラーニング」を開催しました。
このウェビナーでは、Databricks 統合分析プラットフォーム 上で TensorFlow™ と Horovod (Uber が開発した、分散型モデルトレーニングを簡素化するためのオープンソースライブラリ) を使用して、より効果的なレコメンデーションシステムを大規模に構築する方法を解説しました。
特に、分散ディープラーニングを簡素化するために新たに導入された機能の一部をご紹介しました：
- 新しい Databricks Runtime for ML には Keras、Tensorflow、Horovod、XGBoost などのライブラリがプリインストールされているため、データサイエンティストは分散機械学習をより迅速に開始できます。
- 新しくリリースされた、Apache Spark™ のデータに対するディープラーニングモデルの分散型マルチ GPU トレーニングのための Databricks HorovodEstimator API
- ディープラーニングパイプラインで大規模に予測を行う方法
ウェビナーを見逃した方は、今すぐ視聴できます。また、以下のノートブックを実演しました：
Databricks統合分析プラットフォームに無料でアクセスして、ノートブックをお試しになりたい場合は、こちらからフリートライアルをご利用いただけます。
最後に質疑応答 (Q&A) の時間を設けました。以下にすべての質問とその回答を掲載します。 このウェビナーに関するフィードバックを、こちらの<a href=\" \">簡単なアンケート からお寄せください。皆様の体験を今後さらに向上させるために役立てさせていただきます。
Q: TensorFlowでモデルのハイパーパラメーターチューニングを分散方式で実行できますか？
これを行う方法は数多くありますが、以下に限定されるものではありません。
- クラスター上で複数のシングルノードモデルを並列でトレーニング（マシンごとに1つのモデル）、または
- 複数の分散トレーニング ジョブを起動し、それらの分散トレーニング ジョブでグリッドサーチを実行します。
HorovodEstimator がサポートするものとしては、複数の分散トレーニングジョブを通じてハイパーパラメーターチューニングを開始できるように、MLlib のネイティブなチューニング APIs と連携する機能の追加を検討しています。
あるいは、Deep Learning Pipeline（DatabricksのOSSライブラリ）を使用すると、画像データ上のシングルノードKerasモデルのハイパーパラメーターチューニングを並列化できます。
Q: ALSは何の略ですか？
ALS は Alternating Least Squares (交互最小二乗法) の略です。協調フィルタリン グで用いられる手法です。Apache Sparkでの実装については、こちらで詳しく学ぶことができます。
Q：デモではいくつのサーバーを使用しましたか？コア数はいくつでしたか？
このデモのコンフィグはこちらです。
- Databricks Runtime バージョン: 4.1 機械学習 ベータ
- Python バージョン: 3
- i3.x large (ドライバー 1 台 + ワーカー 2 台)
Q: データは各ローカルマシンで複製されましたか？トレーニング中に各ワーカーノードはすべてのデータを使用しますか？
トレーニングデータの一意のサブセットが各マシンのローカルディスクにコピーされるため、各ワーカーノードはデータの一意のサブセットでトレーニングします。1 回のトレーニングステップで、各ワーカーはトレーニングデータのバッチを処理して勾配を計算します。計算された勾配は Horovod の ring-allreduce 機能を使用して平均化され、モデルに適用されます。
Q: dist-kerasとHorovodはどのように比較しますか？
ガートナー®: Databricks、クラウドデータベースのリーダー
Dist-kerasは、Spark Dataframe上で<a href=\" \">Kerasモデル を分散してトレーニングするためのもう1つのオープンソースフレームワークであり、Kerasモデルのトレーニングに最適なソリューションです。両方を使用しました。私たちがHorovodを気に入っている点の1つは、Uberのベンチマークが付属しており、Uberによって本番運用で利用されていることです。そのため、Horovod は大手企業で利用されており、今後も手厚いサポートが見込まれることから、HorovodEstimator は Horovod を中心に構築することにしました。
Q: 単一マシンでのトレーニングと分散トレーニングでは、それぞれどのくらいの時間がかかりますか？
良い質問ですね。一般的に、単一マシンと分散トレーニングを比較する場合、パフォーマンスに影響を与える多くの要因があります。分散トレーニングでは勾配更新の通信による通信オーバーヘッドが発生しますが、複数のマシンでトレーニングデータのバッチを並列処理することで高速化も可能です。HorovodEstimator では、入力の Spark DataFrame をクラスターノードのローカルディスクに TFRecord 形式で書き込むという、固定の startup コストも発生します。まず単一マシンのトレーニングを試し、単一マシンのトレーニングで十分にスケールしない場合にのみ、分散トレーニングを検討することをおすすめします。
Q: お話ありがとうございました。素晴らしいノートブックのシナリオでしたが、複数のデータサイエンティストから成るチームが、少しずつ異なるデータセットで異なるエクスペリメントを行っている場合、それを追跡する機能はありますか？他にどのようなコラボレーション機能をサポートしていますか？
素晴らしいご質問ですね！まさにそのために、最近 MLflow という新しいオープンソースプロジェクトを発表しました。MLflowを使用すると、実務者はフレームワーク間でモデルをパッケージ化して再利用し、ローカルまたはクラウド上でエクスペリメントを追跡および共有し、事実上どこにでもモデルをデプロイできます。さらに、DatabricksはPythonまたはR開発用の共有ノートブックを提供しており、GitHubによる変更の追跡やバージョン履歴もサポートしています。
このイニシアチブに関する最新の更新情報については、Matei Zaharia のMLflow 0.2 リリースに関するブログ記事をお読みください。また、8 月 30 日に開催される Matei Zaharia との今後のウェビナーにご参加いただくと、さらに詳しくご確認いただけます。
Q: データがあまりなく、LSTM モデルと TensorFlow を使用しています。それでも Databricks と Apache Spark をおすすめしますか？
Apache Spark は、あらゆる種類の分散トレーニングや ETL に最適で、データ処理と machine learning を統合しますが、インストール、設定、保守には依然として労力が必要です。Databricks を使用すると、Apache Spark 上で単一ノードから複数ノードまでのユースケースのジョブを柔軟にランできます。ボタンをクリックするだけで、クラスターにノードを簡単に追加できます。Databricks はすべての**アナリティクス**を 1 か所に統合するため、モデルのトレーニング用にクリーンなデータセットを準備することもできます。Databricks Runtime には、TensorFlow、Keras、Horovod に加え、XGBoost や scikit-learn などがプリインストールおよび設定済みのため、ML モデルの構築とトレーニングにおいて最大限の選択肢と柔軟性が得られます。最後になりましたが、Databricksノートブックは、データの準備からモデルのトレーニング、サービングまで、ライフサイクル全体を1か所で管理するための共同作業環境を提供します。
Q: HorovodEstimatorでバイナリモデルをトレーニングできますか？
はい。HorovodEstimator API は、例えば2値分類など、あらゆる TensorFlow コードを分散環境で大規模データに対してランする方法をシンプルに提供します。
Q：クラスターはマルチテナンシーをサポートしていますか？
はい、クラスターに複数のノートブックをアタッチしたり、クラスターで複数のユーザーを使用したりすることができます。Databricksでは、最大限の柔軟性とセキュリティを確保するため、さまざまなレベルでクラスター権限を管理することもできます。
Q: ウェビナー終了後、プレゼンターのスクリプトとスライドを共有していただけますか？
はい、これでノートブックにアクセスできます。このノートブックをランするには、お使いのDatabricks Workspaceにトレーニングセットを追加するだけです。利用を開始するには、14日間の無料トライアルにサインアップしてください。
Q: Apache Spark と Databricks の違いは何ですか？
Databricks 統合分析プラットフォームは、AWSとAzureの両方でホストされているバージョンのApache Sparkや、その他にも多くの機能を提供します。当社は、アナリティクスを1か所で管理および自動化す るための組み込みノートブックとAPIsに加え、Parquet上のApache Sparkより最大100倍高速なDatabricks Delta Lake、Databricks Runtime for 機械学習、およびHorovodEstimatorなど、Apache Sparkの追加の最適化も提供しています。また、クラスターの自動構成と自動スケーリングによって DevOps を大幅に簡素化し、HIPAA および SOC 2 Type 2 認定プラットフォームで、エンタープライズグレードのセキュリティ機能とコンプライアンスを提供します。
(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事
