Cómo el motor de streaming de Spark abarca desde trabajos incrementales por hora hasta canalizaciones en milisegundos con una sola API.
Structured Streaming es el motor de procesamiento de flujos integrado en Apache Spark™. Puedes escribir un trabajo de streaming con las mismas API de DataFrame y SQL que usas para procesamiento por lotes, y Spark lo ejecuta de forma incremental a medida que llegan nuevos datos. Con el Modo en tiempo real, este mismo motor ahora alcanza una latencia de extremo a extremo inferior a un segundo. Esto significa que un solo motor y una base de código común cubren el procesamiento por lotes nocturno, ETL casi en tiempo real y cargas de trabajo operativas en milisegundos.
La mayoría de los equipos solían combinar Spark para procesamiento por lotes con un segundo motor para streaming de baja latencia. Cada motor tenía su propio código, habilidades y modos de fallo. Spark 4 elimina la necesidad de esa división.
Structured Streaming trata un flujo de datos en vivo como una tabla que sigue creciendo. Escribes una consulta contra esa tabla y Spark la ejecuta de manera incremental, procesando solo los nuevos registros y actualizando los resultados. Spark realiza un seguimiento del progreso en un punto de control (checkpoint), por lo que una consulta reiniciada continúa desde donde se quedó con procesamiento exactamente una vez (exactly-once) para los orígenes y destinos compatibles.
Dado que la API de streaming es la misma API de procesamiento por lotes, puedes crear un prototipo de transformación en una tabla estática y luego apuntarla a un flujo con cambios mínimos en el código. Los orígenes incluyen Apache Kafka, almacenamiento de objetos en la nube y tablas de Delta Lake o Apache Iceberg.
Elige el activador según la latencia que necesites, no según el motor. Los tres ejecutan el mismo código de consulta. Cambiar los niveles de latencia implica cambiar una sola línea, no reescribir la canalización (pipeline).
| Activador | Latencia típica | Ideal para | Perfil de coste |
|---|---|---|---|
| availableNow | De minutos a horas (programado) | Cargas de trabajo pequeñas o incrementales, cargas retroactivas (backfills), ETL sensible a costes | El cómputo se ejecuta solo mientras hay datos nuevos |
| Micro-batch (processingTime) | Segundos | Ingesta en streaming y ETL hacia el lakehouse | Siempre activo, alto rendimiento |
| Modo en tiempo real | Inferior a un segundo, de extremo a extremo | Detección de fraude, personalización, características de IA en tiempo real | Siempre activo, optimizado para latencia |
Tabla 1. Comparación de activadores de Structured Streaming. Orígenes: Documentación del Modo en tiempo real de Apache Spark y Referencia del Modo en tiempo real de Databricks. La latencia depende del origen, los operadores, el estado y el destino.
El Modo en tiempo real es un activador de Structured Streaming que procesa registros de forma continua a medida que llegan, en lugar de esperar a los límites de los micro lotes. Se lanzó inicialmente en Apache Spark 4.1 para consultas sin estado (stateless) en Scala, y Apache Spark 4.2 añadió el activador de PySpark. El soporte con estado (stateful), que incluye agregación en streaming, deduplicación y transformWithState, se ha integrado en la versión de código abierto de Spark para el próximo lanzamiento de Apache Spark 4.3. En Databricks, el Modo en tiempo real está disponible de forma general desde el 19 de marzo de 2026, con soporte para cargas de trabajo con estado, incluido transformWithState.
El Modo en tiempo real obtiene su velocidad de tareas de larga ejecución, flujo de datos continuo y una mezcla (shuffle) de streaming que permite a las etapas intercambiar datos sin bloqueo. Para ver el diseño completo, lee Cómo superar la barrera de los micro lotes: la arquitectura del Modo en tiempo real de Apache Spark.
Se activa modificando el activador en una consulta existente:
La duración en el activador controla con qué frecuencia se guarda el punto de control del progreso, con un mínimo de 5 segundos. Los registros no esperan por él; se procesan a medida que llegan. El Modo en tiempo real requiere el modo de salida update. Lee de Kafka y escribe en Kafka o en un destino foreach a nivel de fila. Para guardar los resultados en una tabla Delta, ejecuta una consulta de micro lote independiente. Consulta la referencia del Modo en tiempo real para ver la lista completa de orígenes, destinos y operadores compatibles.
Sí. El Modo en tiempo real reduce la brecha de latencia que antes hacía que Flink fuera la opción predeterminada para el streaming operativo, y Spark mantiene un único motor para procesamiento por lotes, streaming, SQL y aprendizaje automático. MakeMyTrip migró su canalización de personalización al Modo en tiempo real. La latencia P50 se redujo de aproximadamente 1,23 segundos a 44 ms, y la P99 bajó de más de un minuto a unos 500 ms. Esta canalización más rápida impulsó un aumento del 7% en las tasas de clics. El equipo eligió Spark específicamente para evitar el uso de dos motores.
| Percentil | Antes (micro lote) | Después (Modo en tiempo real) |
|---|---|---|
| P50 | ~1,23 s | 44 ms |
| P99 | >1 min | ~500 ms |
Coinbase y DraftKings también ejecutan el Modo en tiempo real en producción, tal como se describe en el anuncio de disponibilidad general del Modo en tiempo real. Para la mayoría de los equipos, el factor decisivo es operativo. Con Spark, el mismo código, personal y gobernanza cubren todos los niveles de latencia. Flink sigue siendo una opción para organizaciones que ya han invertido en su motor de ejecución para el procesamiento especializado de eventos.
Sí. Structured Streaming se ejecuta en modo local en un ordenador portátil con pip install pyspark, y el activador availableNow procesa solo los datos nuevos y luego se detiene. Esto hace que el streaming sea práctico para trabajos pequeños e incrementales que se ejecutan de forma programada, no solo para canalizaciones siempre activas. Cuando el volumen crece, la misma consulta se traslada a un clúster o a un entorno de cómputo serverless sin necesidad de realizar cambios. Para probarlo, sigue el tutorial de Apache Spark: Modo en tiempo real.
Structured Streaming es la forma en que los sistemas de IA obtienen datos actualizados. Los equipos lo utilizan para calcular características de forma continua, de modo que un modelo de fraude o recomendación evalúe datos ocurridos hace segundos, y no ayer. DraftKings utiliza el Modo en tiempo real con transformWithState para construir canalizaciones de características unificadas tanto para el entrenamiento de machine learning como para la inferencia en línea. MakeMyTrip está probando el Modo en tiempo real para proporcionar a sus agentes de IA el contexto más reciente.
Escribir streaming también es fácil para los agentes. Las consultas de Structured Streaming, incluyendo transformWithState, se ejecutan en Spark Connect, el cliente ligero de Apache Spark. Un agente de código puede crear y enviar un plan de streaming sin necesidad de mantener una sesión de clúster ni credenciales.
Usa transformWithState para lógica de estado personalizada en Spark 4. Reemplaza las API anteriores mapGroupsWithState y flatMapGroupsWithState. Añade variables de estado tipadas, temporizadores, desalojo por tiempo de vida (time-to-live) para estados que caducan y la capacidad de inicializar el estado desde una tabla existente. Combínalo con el almacenamiento de estado de RocksDB para estados grandes. Para patrones integrados como agregación con ventanas, deduplicación y uniones de stream a stream, usa los operadores estándar y establece un límite de tiempo (watermark) para que Spark pueda limitar el estado y manejar datos retrasados.
Databricks ejecuta Structured Streaming como un servicio gestionado creado por los creadores originales de Apache Spark. Además del Spark de código abierto, incluye:
El código escrito para Spark de código abierto se ejecuta en Databricks sin modificaciones. Consulta Structured Streaming en Databricks.
Spark Streaming (DStreams) es la API de streaming original y heredada construida sobre RDDs. Structured Streaming es el motor actual, construido sobre DataFrames y SQL. Todas las nuevas funciones de streaming, incluido el Modo en Tiempo Real, se lanzan únicamente en Structured Streaming.
Ambos. Structured Streaming utiliza micro-lotes de forma predeterminada, y el Modo en Tiempo Real procesa registros de forma continua con una latencia de extremo a extremo inferior a un segundo. Lo eliges por consulta configurando el activador.
Para la mayoría de las cargas de trabajo, no. El Modo en Tiempo Real le da a Spark una latencia inferior a un segundo en el mismo motor que usas para lotes, por lo que mantienes un solo sistema, una sola base de código y un conjunto de habilidades.
Apache Spark 4.1 introdujo el Modo en Tiempo Real para consultas de Scala sin estado, y Apache Spark 4.2 añadió el activador de PySpark. Los operadores con estado llegan al código abierto con Apache Spark 4.3. En Databricks, el Modo en Tiempo Real está disponible de manera general, incluyendo las operaciones con estado.
Sí. Las consultas de Structured Streaming, incluido transformWithState, se pueden crear y ejecutar desde un cliente de Spark Connect.
Comienza con el Modo en Tiempo Real en Databricks
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.