Qu'est-ce qu'une bibliothèque d'apprentissage automatique ?

Comment Spark MLlib fournit des algorithmes et des utilitaires de ML évolutifs permettant aux équipes d'entraîner, d'évaluer et de déployer facilement des modèles sur de grands ensembles de données.

Summary

Découvrez comment MLlib d'Apache Spark privilégie la simplicité, la scalabilité et l'intégration pour vous permettre de vous concentrer sur vos données et vos modèles plutôt que sur les détails des systèmes distribués.
Explorez les principaux algorithmes et utilitaires de MLlib, de la classification et la régression au clustering, au filtrage collaboratif et à la réduction de dimensionnalité.
Voyez comment MLlib s'intègre à Spark SQL, Streaming et DataFrames et prend en charge plusieurs langages pour optimiser les flux de travail d'apprentissage automatique de bout en bout.

La bibliothèque Machine Learning Library (MLlib) d’Apache Spark est conçue pour être simple, évolutive et facile à intégrer à d’autres outils. Grâce à l’évolutivité, à la compatibilité avec plusieurs langages et à la rapidité de Spark, les data scientists peuvent se consacrer à leurs problèmes et modèles de données plutôt que d’essayer de résoudre les lourdeurs liées à la dissémination des données (infrastructure, configurations, etc.). Conçue sur une base Spark, MLlib est une bibliothèque de machine learning évolutive, composée d’algorithmes d’apprentissage communs et d’infrastructures publiques, y compris la classification, la régression, le clustering, le filtrage collaboratif, la réduction de dimensionnalité et l’identification des primitives d’optimisation sous-jacentes. MLlib peut facilement s’intégrer à d’autres composants de Spark tels que Spark SQL, Spark streaming ou DataFrames. De plus, elle peut être installée dans le Databricks Runtime. Cette bibliothèque est utilisable en Java, Scala et Python sous forme d’applications Spark, si bien que vous pouvez l’inclure dans des workflows complets. MLlib permet le prétraitement, la fusion et l’entraînement de modèles, ainsi que la réalisation de prédictions à grande échelle sur les données.Vous pouvez même utiliser des modèles formés dans MLlib pour faire des prédictions dans le streaming structuré. Spark fournit une API de machine learning sophistiquée pour effectuer diverses tâches de machine learning telles que la classification, la régression, le clustering et le deep learning.