Che cos'è la Machine Learning Library?

In che modo Spark MLlib fornisce algoritmi e utilità ML scalabili in modo che i team possano addestrare, valutare e distribuire modelli su grandi set di dati con facilità

Summary

Scopri come MLlib di Apache Spark si concentra su semplicità, scalabilità e integrazione, consentendoti di concentrarti su dati e modelli anziché sui dettagli dei sistemi distribuiti.
Esplora gli algoritmi e le utilità principali di MLlib, dalla classificazione e regressione al clustering, al filtraggio collaborativo e alla riduzione della dimensionalità.
Scopri come MLlib si integra con Spark SQL, Streaming e DataFrames e supporta più linguaggi per alimentare flussi di lavoro di machine learning end-to-end.

Machine Learning Library (MLlib) di Apache Spark è progettata nell'ottica della semplicità, della scalabilità e della facilità di integrazione con altri strumenti. Grazie alla scalabilità, alla compatibilità del linguaggio e alla velocità di Spark, i data scientist si possono concentrare sui loro problemi di gestione dei dati e modelli invece di risolvere le complessità dei dati distribuiti (come infrastruttura, configurazioni e così via). Basata su Spark, MLlib è una libreria di machine learning scalabile composta da comuni algoritmi e utility di machine learning per classificazione, regressione, clustering, filtraggio collaborativo, riduzione della dimensionalità e primitive di ottimizzazione sottostanti. Spark MLLib si integra direttamente con altri componenti Spark come Spark SQL, Spark Streaming e DataFrames, ed è installata nel runtime di Databricks. La libreria è utilizzabile in Java, Scala e Python nell'ambito di applicazioni Spark, in modo che possa essere inclusa in flussi di lavoro completi. MLlib consente attività di pre-elaborazione, munging (trasformazione dei dati grezzi) e addestramento di modelli, nonché di fare previsioni sui dati su larga scala. I modelli addestrati in MLlib possono essere utilizzati anche per fare previsioni in Structured Streaming. Spark offre un'API di machine learning sofisticata per eseguire svariati compiti di machine learning, dalla classificazione alla regressione, dal clustering al deep learning.