O que é um Conjunto de Dados Distribuído Resiliente (RDD)?

Os conjuntos de dados distribuídos resilientes (RDDs) têm sido a principal API voltada para o usuário do Spark desde seu lançamento. Um RDD é uma coleção imutável de elementos de dados localizados em vários nós em um cluster e pode ser usado juntamente com APIs subjacentes para transformações e outras operações.

Cinco motivos para usar RDDs

1. Para executar transformações, ações e controle de baixo nível em conjuntos de dados;
2. Quando seus dados não são estruturados, como streams de mídia ou de texto;
3. Para trabalhar com dados em programação funcional em vez de linguagens específicas de domínio;
4. Se você não se importar em especificar um esquema, como um formato em colunas, ao manipular ou acessar atributos de dados por nome ou coluna; e
5. Se você não precisa dos recursos de otimização e desempenho de DataFrames e conjunto de dados para dados estruturados e semiestruturados.

Qual é a função dos RDDs no Apache Spark 2.0?

Os RDDs são considerados menos importantes? Eles estão ficando obsoletos? A resposta é um NÃO bem enfático! Além disso, você pode alternar perfeitamente entre DataFrames/conjunto de dados e RDDs chamando métodos simples de API, e DataFrames/conjunto de dados são baseados em RDDs.

Recursos adicionais

• As 3 APIs do Apache Spark: RDD x DataFrames e Conjunto de dados
• Conjuntos de dados distribuídos resilientes: Uma abstração tolerante a falhas para computação em cluster in-memory (trabalho de pesquisa)