Qu'est-ce que Pyspark ?
L'interface Python pour Apache Spark permet le traitement distribué des données via des opérations DataFrame, des pipelines de ML et l'analyse de flux à grande échelle.
Summary
- Allie la simplicité de Python à la puissance de calcul distribuée de Spark, offrant la compatibilité avec les DataFrames, les requêtes SQL et l'API Pandas pour l'ingénierie et l'analyse de données à grande échelle.
- Prend en charge le Structured Streaming pour le traitement des données en temps réel, MLlib pour l'apprentissage automatique à grande échelle et une intégration transparente avec l'optimiseur Catalyst et le moteur d'exécution Tungsten de Spark.
- Permet l'évaluation paresseuse et les transformations immuables pour créer des plans d'exécution efficaces, les actions déclenchant des calculs distribués sur les nœuds du cluster pour le traitement de volumes massifs de données.
Qu'est-ce que PySpark ?
Apache Spark est écrit dans le langage de programmation Scala. PySpark a été créé pour soutenir la collaboration d'Apache Spark et de Python : concrètement, c'est une API Python pour Spark. De plus, PySpark joue le rôle d'interface avec les datasets distribués résilients (RDD) d'Apache Spark et le langage de programmation Python. C'est la bibliothèque Py4j qui a permis d'obtenir ce résultat.
Py4J est une bibliothèque populaire, intégrée à PySpark, qui permet à Python de s'interfacer dynamiquement avec les objets JVM. PySpark comprend plusieurs bibliothèques pensées pour l'écriture de programmes efficaces. Diverses bibliothèques externes sont également compatibles. En voici une sélection :
PySparkSQL
Cette bibliothèque PySpark permet d'appliquer une analyse de type SQL à une grande quantité de données structurées ou semi-structurées. Il est aussi possible d'utiliser des requêtes SQL avec PySparkSQL. Et de la connecter à Apache Hive. HiveQL est également utilisable. PySparkSQL est un wrapper pour le noyau PySpark. PySparkSQL a introduit le DataFrame, une représentation tabulaire des données structurées similaire à une table dans un système de gestion de base de données relationnelle.
Gartner® : Databricks, leader des bases de données cloud
mllib
MLlib est un wrapper pour PySpark et la bibliothèque de machine learning de Spark. Cette bibliothèque utilise la technique du parallélisme des données pour stocker et exploiter les données. L'API de machine learning fournie par la bibliothèque MLlib est assez simple à utiliser. MLlib prend en charge de nombreux algorithmes de machine learning pour la classification, la régression, le clustering, le filtrage collaboratif, la réduction de dimensionnalité et l'identification des primitives d'optimisation sous-jacentes.
GraphFrames
GraphFrames est une bibliothèque de traitement graphique spécialisée qui fournit différentes API pour réaliser des analyses graphiques efficaces à l'aide de PySpark core et PySparkSQL. Elle est optimisée pour le calcul distribué à grande vitesse. Les avantages de PySpark : • Python est un langage très facile à apprendre et à implémenter. • Elle fournit une API simple et complète. • Avec Python, la lisibilité du code est bien meilleure, et sa maintenance et sa prise en main sont beaucoup plus simples. • La bibliothèque offre différentes options de visualisation des données, bien plus difficiles à obtenir avec Scala ou Java.