O que é PySpark?
Interface do Python para o Apache Spark, permitindo o processamento distribuído de dados por meio de operações com DataFrames, pipelines de aprendizado de máquina e análises de streaming em escala.
Summary
- Combina a simplicidade do Python com o poder de computação distribuída do Spark, oferecendo compatibilidade com DataFrames, consultas SQL e a API Pandas para engenharia e análise de dados escaláveis.
- Suporta Structured Streaming para processamento de dados em tempo real, MLlib para aprendizado de máquina em escala e integração perfeita com o otimizador Catalyst e o mecanismo de execução Tungsten do Spark.
- Permite avaliação preguiçosa e transformações imutáveis que criam planos de execução eficientes, com ações que acionam computação distribuída em nós do cluster para processamento de conjuntos de dados massivos.
O que é PySpark?
O Apache Spark é escrito na linguagem de programação Scala. PySpark é uma API em Python para executar o Spark e foi lançado para oferecer suporte à colaboração entre Apache Spark e Python. O PySpark também oferece suporte à interface do Apache Spark com conjuntos de dados distribuídos resilientes (RDDs) na linguagem de programação Python. Isso é obtido aproveitando a biblioteca Py4J.
Py4J é uma biblioteca popular incorporada ao PySpark que permite a interface dinâmica com objetos na JVM do Python. O PySpark possui muitas implementações de bibliotecas para programação eficiente e também possui bibliotecas externas compatíveis. Aqui estão alguns exemplos:
PySparkSQL
PySparkSQL é uma biblioteca PySpark para análises semelhantes a SQL em grandes quantidades de dados estruturados e semiestruturados. Você pode usar o PySparkSQL para executar queries SQL, trabalhar com o Apache Hive e até mesmo aplicar o HiveQL. Além disso, o PySparkSQL é um wrapper do PySpark Core. PySparkSQL introduz DataFrames para representar dados estruturados em um formato tabular semelhante a tabelas em sistemas de gerenciamento de banco de dados relacional.
Gartner®: Databricks, líder em banco de dados em nuvem
MLlib
MLlib é um wrapper para PySpark e a biblioteca de machine learning (ML) do Spark. Esta biblioteca usa a técnica de paralelismo de dados para armazenar e trabalhar com dados. A API de machine learning fornecida pela biblioteca MLlib é fácil de usar. MLlib é compatível com muitos algoritmos de machine learning para classificação, regressão, agrupamento, filtragem colaborativa, redução de dimensionalidade e primitivas de otimização subjacentes.
GraphFrames
GraphFrames é uma biblioteca de processamento de dados gráficos que usa PySpark Core e PySparkSQL para fornecer um conjunto de APIs para análise de gráficos eficiente. Também é otimizado para computação distribuída rápida. Vantagens de usar o PySpark: • Python é extremamente fácil aprender e implementar. • Ele fornece uma API simples e abrangente. • O uso do Python melhora a legibilidade do código, capacidade de manutenção e facilidade de uso. • Oferece muitas opções para visualização de dados, o que é difícil com Scala ou Java.