PySpark

PySparkSQL

Una biblioteca de PySpark para aplicar análisis de tipo SQL en una gran cantidad de datos estructurados o semiestructurados. También podemos usar consultas SQL con PySparkSQL. También se puede conectar a Apache Hive. También se puede aplicar HiveQL. PySparkSQL es un envoltorio sobre el núcleo de PySpark. PySparkSQL introdujo el DataFrame, una representación tabular de datos estructurados que es similar a la de una tabla de un sistema de gestión de bases de datos relacionales.

MLlib

MLlib es un wrapper de PySpark y es la biblioteca de machine learning (ML) de Spark. Esta biblioteca usa la técnica de paralelismo de datos para almacenar y trabajar con datos. La API de aprendizaje automático que proporciona la biblioteca MLlib es bastante fácil de usar. MLlib admite muchos algoritmos de aprendizaje automático para clasificación, regresión, agrupamiento, filtrado colaborativo, reducción de dimensionalidad y primitivas de optimización subyacentes.

GraphFrames

GraphFrames es una biblioteca de procesamiento de grafos que proporciona un conjunto de APIs para realizar análisis de grafos de forma eficiente, usando el núcleo de PySpark y PySparkSQL. Está optimizado para la computación distribuida rápida. Ventajas de usar PySpark: • Python es muy fácil de aprender e implementar. • Proporciona una API sencilla y completa. • Con Python, la legibilidad del código, el mantenimiento y la familiaridad son mucho mejores. • Incluye varias opciones para la visualización de datos, lo que es difícil de hacer con Scala o Java.