Apache Spark™

Diseñado desde cero pensando en el rendimiento, Spark puede ser 100 veces más rápido que Hadoop para el procesamiento de datos a gran escala gracias a que aprovecha la computación en memoria y otras optimizaciones. Spark también es rápido cuando los datos se almacenan en disco, y actualmente ostenta el récord mundial de clasificación en disco a gran escala.

Spark tiene API fáciles de usar para operar en grandes conjuntos de datos. Esto incluye una colección de más de 100 operadores para transformar datos y API de marcos de datos familiares para manipular datos semiestructurados.

Spark viene empaquetado con bibliotecas de nivel superior, que incluyen soporte para consultas SQL, datos de transmisión, aprendizaje automático y procesamiento de gráficos. Estas bibliotecas estándar aumentan la productividad de los desarrolladores y pueden combinarse sin problemas para crear flujos de trabajo complejos.