Runtime Machine Learning

Ambiente di machine learning ottimizzato pronto all'uso

Machine Learning Runtime (MLR) offre a data scientist e tecnici ML cluster scalabili che comprendono i framework più diffusi, AutoML integrato e ottimizzazioni per prestazioni senza paragoni.

Vantaggi

FRAMEWORK A SCELTA

I framework di ML si evolvono molto rapidamente e i tecnici devono saper gestire mediamente 8 librerie. ML Runtime offre accesso con un solo clic a una distribuzione affidabile e performante dei framework di ML più diffusi, oltre ad ambienti di ML personalizzati tramite contenitori predefiniti o Conda.

MACHINE LEARNING AUMENTATO

Il ciclo di machine learning, dalla preparazione dei dati all'inferenza, può essere accelerato con funzionalità di ML integrate, fra cui sintonizzazione degli iperparametri e ricerca di modelli utilizzando Hyperopt e MLflow.

SCALABILITÀ SEMPLIFICATA

Il passaggio da piccoli volumi di dati ai Big Data viene agevolato dall'infrastruttura di cluster autogestita e scalabile. Machine Learning Runtime comprende anche migliorie esclusive delle prestazioni per gli algoritmi più diffusi e HorovodRunner, una semplice API per deep learning distribuito.

Features

FRAMEWORK A SCELTA

Conda Managed Runtime: L'integrazione con Conda agevola la gestione dei pacchetti Python. Tutti i pacchetti Python sono installati in un unico ambiente.

ML Framework: Le librerie e i framework di ML più diffusi vengono forniti "pronti all'uso", ad esempio TensorFlow, Keras, PyTorch, MLflow, Horovod, GraphFrames, scikit-learn, XGboost, numpy, MLeap e Pandas.

ML AUMENTATO

Tracciamento automatizzato degli esperimenti: tracciare, confrontare e visualizzare centinaia di migliaia di esperimenti utilizzando MLflow open-source o gestito e la funzionalità parallela di plottaggio delle coordinate.

Ricerca automatizzata del modello (per ML a nodo singolo): ricerca ottimizzata e distribuita di iperparametri condizionali su più architetture di modelli con Hyperopt avanzato e tracciamento automatico su MLflow.

Sintonizzazione automatica di iperparametri per machine learning a nodo singolo: ricerca ottimizzata e distribuita di iperparametri con Hyperopt avanzato e tracciamento automatico su MLflow.

Sintonizzazione automatica di iperparametri per machine learning distribuito: integrazione profonda con Cross Validation di PySpark MLlib per tracciare automaticamente esperimenti MLlib in MLflow.

OTTIMIZZATO PER SCALABILITÀ SEMPLIFICATA

TensorFlow ottimizzato: la versione di TensorFlow ottimizzata per CUDA porta benefici in termini di prestazioni sui cluster GPU.

HorovodRunner: il codice di addestramento deep learning a nodo singolo può essere migrato velocemente per girare su un cluster Databricks con HorovodRunner, una semplice API che astrae le complicazioni legate all'uso di Horovod per l'addestramento distribuito.

Regressione logistica MLlib ottimizzata e classificatori ad albero: gli stimatori più diffusi sono stati ottimizzati nell'ambito di Databricks Runtime per ML, per offrire un incremento della velocità fino al 40% rispetto ad Apache Spark 2.4.0.

GraphFrames ottimizzato: GraphFrames può girare da 2 a 4 volte più velocemente e si possono eseguire query Graph a velocità fino a 100 volte maggiori, secondo i carichi di lavoro e l'asimmetria dei dati.

Storage ottimizzato per carichi di lavoro di deep learning: si possono sfruttare soluzioni ad alte prestazioni su Azure e AWS per caricamento di dati e check point di modelli, entrambi critici per i carichi di lavoro di addestramento deep learning.

How It Works

Machine Learning Runtime è basato su Databricks Runtime e viene aggiornato a ogni nuova release. È disponibile per tutte le offerte di prodotti Databricks, fra cui Azure Databricks, AWS cloud, cluster GPU e cluster CPU.

Per utilizzare ML Runtime basta selezionare la versione di ML del runtime quando si crea il cluster.

Referenze

Watch the Spark+AI Summit Talk

Simplify Distributed TensorFlow Training for Fast Image Categorization at Starbucks

Pronto per cominciare?


Follow the Quick Start Guide