Cómo el Modo en Tiempo Real de Spark cambia la decisión sobre streaming, con pruebas de rendimiento de latencia, una comparación de características y una guía para elegir un motor.
Para la mayoría de los equipos, Apache Spark™ es la mejor opción. Spark ejecuta ETL por lotes, análisis SQL, aprendizaje automático y streaming en un solo motor, y Real-Time Mode ahora lleva el streaming de Spark a una latencia de extremo a extremo de milisegundos. Apache Flink es un motor nativo de streaming que se adapta a cargas de trabajo de procesamiento de eventos especializadas, pero elegirlo por lo general significa ejecutar un segundo motor junto a Spark.
La brecha de latencia solía ser la razón principal por la que los equipos añadían Flink. Con Real-Time Mode, esa razón ha desaparecido en gran medida, y la verdadera pregunta pasa a ser cuántos motores quieres construir, operar y gobernar.
Spark es un motor unificado para procesamiento por lotes, streaming, SQL e IA, y Flink es un procesador de streaming especializado. Ambos son proyectos de código abierto de la Apache Software Foundation con procesamiento exactamente una vez (exactly-once), operadores con estado y API de SQL. La diferencia es el alcance.
Spark comenzó como un motor por lotes y añadió Structured Streaming, que trata un flujo como una tabla que sigue creciendo. El mismo código de DataFrame y SQL se ejecuta como un trabajo por lotes programado, un flujo de micro lotes o un flujo de Real-Time Mode. Flink se diseñó primero para streaming y trata el procesamiento por lotes como un flujo acotado.
Esta tabla compara ambos motores en las dimensiones que normalmente determinan la elección.
| Dimensión | Apache Spark | Apache Flink |
|---|---|---|
| Alcance del motor | Unificado: procesamiento por lotes, streaming, SQL, preparación de datos de ML e IA | Enfoque en streaming, con procesamiento por lotes como flujo acotado |
| Latencia de streaming | Segundos con micro lotes, milisegundos con Real-Time Mode | Milisegundos |
| Procesamiento por lotes y ETL a gran escala | Estándar de la industria para procesamiento por lotes a escala de petabytes | Compatible, menos común en la práctica |
| Lenguajes | Python, SQL, Scala, Java, además de clientes Go, Rust y Swift a través de Spark Connect | Java, SQL, Python (PyFlink) |
| Procesamiento con estado | Agregación, deduplicación, uniones (joins), transformWithState, almacén de estado RocksDB | Estado basado en claves (keyed state), temporizadores, estado desaggregado (ForSt) en Flink 2.x |
| Procesamiento de eventos complejos | Lógica personalizada con transformWithState | Librería CEP integrada y SQL MATCH_RECOGNIZE |
| Aprendizaje automático e IA | MLlib, pipelines de características, búsqueda vectorial en SQL, preparación de datos para LLM | ML nativo limitado, por lo general vinculado a otro sistema |
| Integración con Lakehouse | Lectura y escritura nativas en Delta Lake y Apache Iceberg | Conectores para Iceberg y otros formatos |
| Opciones administradas | Databricks, AWS EMR y Glue, Google Cloud, Microsoft Fabric | AWS, Confluent, Ververica y otros |
Tabla 1. Comparación entre Apache Spark y Apache Flink. Fuentes: Documentación de Apache Spark Real-Time Mode, Lanzamiento de Apache Flink 2.0 y Documentación de Flink CEP.
En la prueba de referencia publicada por Databricks, Spark Real-Time Mode igualó a Flink en tareas sin estado y obtuvo una menor latencia p99 en agregaciones con estado y uniones de flujo estático. El código de la prueba de referencia es público, utiliza cargas de trabajo de cálculo de características derivadas de clientes y se ejecuta a 10 000 registros por segundo durante 30 minutos, midiendo la latencia de entrada a salida de Kafka. Databricks resumió los resultados indicando que es hasta un 92 % más rápido que Flink.
| Carga de trabajo | p99 de Spark Real-Time Mode | p99 de Apache Flink |
|---|---|---|
| Transformación sin estado | 3 ms | 3 ms |
| Agregación con estado | 14 ms | 45 ms |
| Unión (join) de flujo estático | 9 ms | 95 ms |
Cómo interpretar estos números: Databricks ejecutó la prueba de referencia. Spark se ejecutó en Databricks y Flink se ejecutó en AWS Managed Service para Apache Flink 1.18. Los resultados comparan la peor ejecución de Spark con la mejor ejecución de Flink. Tómalos como referencia para estos patrones de carga de trabajo y prueba tu propio pipeline antes de tomar una decisión.
Los resultados en producción cuentan la misma historia. MakeMyTrip consideró Flink, eligió Spark Real-Time Mode para evitar un segundo motor y redujo la latencia P50 a 44 ms y la P99 de más de un minuto a unos 500 ms. Coinbase y DraftKings también ejecutan Real-Time Mode en producción. Para saber cómo el motor logra esto, lee Cómo superar la barrera de los micro lotes en la arquitectura de Apache Spark Real-Time Mode.
Cambias el activador (trigger). Real-Time Mode es un activador en una consulta de Structured Streaming existente, por lo que el mismo código se desplaza entre niveles de latencia sin necesidad de reescribirlo.
Real-Time Mode necesita un modo de salida de actualización y lee y escribe en Kafka o en un receptor foreach a nivel de fila. Los operadores con estado llegan al código abierto con Apache Spark 4.3 y ya están disponibles de forma general en Databricks hoy en día. En Databricks, se ejecuta en cómputo clásico o en Lakeflow Spark Declarative Pipelines. Consulta la referencia de Real-Time Mode para ver la matriz de compatibilidad completa.
Flink puede ser la mejor opción para un conjunto pequeño de cargas de trabajo de streaming especializadas. Considéralo cuando se cumpla la mayoría de las siguientes condiciones:
Si el flujo también alimenta análisis, características de ML o tablas de lakehouse, Spark evita duplicar la lógica, las operaciones y la gobernanza en dos motores.
Cada segundo motor añade una segunda base de código, un segundo conjunto de habilidades y un segundo conjunto de reglas de gobernanza. Los equipos que combinan Spark para procesamiento por lotes con Flink para streaming a menudo reescriben la misma lógica de negocio dos veces y depuran las discrepancias entre ambas.
Los pipelines también se pueden declarar en lugar de configurarse manualmente. Spark Declarative Pipelines gestiona las dependencias y la actualización incremental para las tablas de streaming.
Databricks fue fundada por los creadores originales de Apache Spark y ejecuta el modo en tiempo real como una característica disponible con carácter general, incluyendo operadores con estado y transformWithState. Añade Lakeflow Spark Declarative Pipelines, la gobernanza de Unity Catalog y pipelines sin servidor. El código escrito para Spark de código abierto se ejecuta en Databricks sin modificaciones. Para empezar, sigue el tutorial de Apache Spark: Modo en tiempo real.
En la prueba de rendimiento publicada por Databricks, el modo en tiempo real de Spark igualó a Flink en cargas de trabajo sin estado y tuvo una menor latencia p99 en agregaciones con estado y uniones de flujos con datos estáticos. Los resultados dependen de la carga de trabajo, por lo que te recomendamos probar tu propio pipeline.
No solo en eso. Spark Structured Streaming utiliza micro lotes de forma predeterminada, y el modo en tiempo real procesa los registros de manera continua con una latencia de milisegundos. Puedes elegir por consulta configurando el activador (trigger).
Para la mayoría de las cargas de trabajo, no. El modo en tiempo real le otorga a Spark una latencia de milisegundos en el mismo motor que utilizas para procesamiento por lotes, SQL y ML, por lo que puedes usar un solo sistema en lugar de dos.
Flink puede adaptarse a cargas de trabajo especializadas, como estados con claves muy grandes, procesamiento de eventos complejos o para equipos que ya ejecutan una plataforma Flink para flujos independientes.
Sí. La mayor parte de la lógica de Flink SQL y DataStream se puede mapear a Spark SQL y DataFrames en Structured Streaming, y el modo en tiempo real cubre la ruta de baja latencia. Comienza con trabajos sin estado y de agregación, y luego traslada la lógica con estado a transformWithState.
Comenzar con el modo en tiempo real en Databricks
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.