機械学習のランタイム

すぐに使用できる最適化された機械学習環境

機械学習ランタイム(MLR)は、データサイエンティストと ML の実行者に、一般的なフレームワーク、組み込み AutoML、および最高のパフォーマンスを実現するための最適化を含む、スケーラブルなクラスターを提供します。

メリット

最適なフレームワーク

ML Frameworks are evolving at a frenetic pace and practitioners need to manage on average 8 libraries. The ML Runtime provides one-click access to a reliable and performant distribution of the most popular ML frameworks, and custom ML environments via pre-built containers.

強化された機械学習

Hyperopt および MLflow を使用したハイパーパラメータのチューニングやモデル検索といった組み込みの AutoML 機能により、データ準備から推論に至るまで、機械学習を強化します。

簡素化されたスケーリング

自動管理されたスケーラブルなクラスターインフラストラクチャを使用して、スモールデータからビッグデータへ簡単に移行できます。また、機械学習のランタイムには、特に一般的なアルゴリズムと HorovodRunner(分散型深層学習用の単純な API)に関する独自のパフォーマンス強化が含まれています。

機能

最適なフレームワーク

ML フレームワーク:TensorFlow、Keras、PyTorch、MLflow、Horovod、GraphFrame、scikit-learn、XGboost、numpy、MLeap、Pandas など、特に一般的な ML ライブラリとフレームワークをすぐに利用できます。

拡張 ML

自動実験追跡:オープンソースまたはマネージド型 MLflow および並列座標プロット機能を使用して、数十万もの実験を追跡、比較、および視覚化します。

自動モデル検索(単一ノードの ML 用):強化された Hyperopt と MLflow への自動追跡により、複数のモデルアーキテクチャで最適化および分散された条件付きハイパーパラメータ検索を実行します。

単一ノードの機械学習用自動ハイパーパラメータチューニング:強化された Hyperopt と MLflow への自動追跡により、最適化および分散されたハイパーパラメータ検索を実行します。

分散型機械学習用自動ハイパーパラメータチューニング:PySpark MLlib の相互検証との密接な統合により、MLflow で MLlib 実験を自動的に追跡します。

シンプルなスケーリングのための最適化

最適化された TensorFlow:GPU クラスター上の TensorFlow CUDA に最適化されたバージョンを活用して、パフォーマンスの最大化を実現。

HorovodRunner: シングルノードの深層学習トレーニングコードを迅速に移行し、HorovodRunner (Horovod を分散トレーニングで使用する際に直面する複雑さを抽象化する単純な API)を使って Databricks クラスターで実行。

最適化された MLlib ロジスティック回帰と決定木の分類:特に一般的な推定ツールが ML 用 Databricks ランタイムの一部として最適化されており、Apache Spark 2.4.0 と比べて最大 40% の高速化を実現。

最適化された GraphFrames:ワークロードとデータスキューに応じて、2~4 倍の速度で GraphFrames を実行し、Graph クエリを最大で 100 倍高速化することが可能。

Optimized Storage for Deep Learning Workloads: Leverage high-performance solutions on Azure, AWS, and GCP for data loading and model checkpointing, both of which are critical to deep learning training workloads.

仕組み

機械学習用ランタイムは最上部に構築され、Databricks ランタイムのリリースごとに更新されます。Azure Databricks、AWS クラウド、GPU クラスター、CPU クラスターといった、全ての Databricks 製品でご利用いただけます。

クラスターを作成する際に ML バージョンのランタイムを選択するだけで、ML 用ランタイムを使用することができます。

導入事例

Spark + AI Summit の講演を視聴する

Simplify Distributed TensorFlow Training for Fast Image Categorization at Starbucks

無料お試し・その他ご相談を承ります


クイックスタートガイドへ