Ir al contenido principal

¿Qué es Apache Spark Structured Streaming?

Cómo el motor de streaming de Spark abarca desde trabajos incrementales por hora hasta canalizaciones en milisegundos con una sola API.

por Personal de Databricks

  • Structured Streaming es el motor de procesamiento de streaming de Apache Spark. Utiliza las mismas API de DataFrame y SQL que el procesamiento por lotes, por lo que una sola base de código sirve para ambos.
  • El modo en tiempo real ofrece una latencia de extremo a extremo inferior a un segundo para el streaming de Spark, por lo que la mayoría de los equipos ya no necesitan un motor independiente como Apache Flink.
  • Elige el activador según tus necesidades de latencia, desde availableNow para pequeños trabajos incrementales hasta el modo en tiempo real para la detección de fraudes y funciones de IA.

Structured Streaming es el motor de procesamiento de flujos integrado en Apache Spark™. Puedes escribir un trabajo de streaming con las mismas API de DataFrame y SQL que usas para procesamiento por lotes, y Spark lo ejecuta de forma incremental a medida que llegan nuevos datos. Con el Modo en tiempo real, este mismo motor ahora alcanza una latencia de extremo a extremo inferior a un segundo. Esto significa que un solo motor y una base de código común cubren el procesamiento por lotes nocturno, ETL casi en tiempo real y cargas de trabajo operativas en milisegundos.

La mayoría de los equipos solían combinar Spark para procesamiento por lotes con un segundo motor para streaming de baja latencia. Cada motor tenía su propio código, habilidades y modos de fallo. Spark 4 elimina la necesidad de esa división.

¿Cómo funciona Structured Streaming?

Structured Streaming trata un flujo de datos en vivo como una tabla que sigue creciendo. Escribes una consulta contra esa tabla y Spark la ejecuta de manera incremental, procesando solo los nuevos registros y actualizando los resultados. Spark realiza un seguimiento del progreso en un punto de control (checkpoint), por lo que una consulta reiniciada continúa desde donde se quedó con procesamiento exactamente una vez (exactly-once) para los orígenes y destinos compatibles.

Diagrama de un flujo de datos añadido como filas a una tabla de entrada ilimitada, procesado de forma incremental por una consulta de Spark para generar una tabla de resultados en actualización.
Figura 1. Structured Streaming trata un flujo como una tabla que sigue creciendo. Cada activador procesa solo las filas nuevas y actualiza el resultado.

Dado que la API de streaming es la misma API de procesamiento por lotes, puedes crear un prototipo de transformación en una tabla estática y luego apuntarla a un flujo con cambios mínimos en el código. Los orígenes incluyen Apache Kafka, almacenamiento de objetos en la nube y tablas de Delta Lake o Apache Iceberg.

¿Qué activador (trigger) debo usar: availableNow, micro-batch o Modo en tiempo real?

Elige el activador según la latencia que necesites, no según el motor. Los tres ejecutan el mismo código de consulta. Cambiar los niveles de latencia implica cambiar una sola línea, no reescribir la canalización (pipeline).

ActivadorLatencia típicaIdeal paraPerfil de coste
availableNowDe minutos a horas (programado)Cargas de trabajo pequeñas o incrementales, cargas retroactivas (backfills), ETL sensible a costesEl cómputo se ejecuta solo mientras hay datos nuevos
Micro-batch (processingTime)SegundosIngesta en streaming y ETL hacia el lakehouseSiempre activo, alto rendimiento
Modo en tiempo realInferior a un segundo, de extremo a extremoDetección de fraude, personalización, características de IA en tiempo realSiempre activo, optimizado para latencia

Tabla 1. Comparación de activadores de Structured Streaming. Orígenes: Documentación del Modo en tiempo real de Apache Spark y Referencia del Modo en tiempo real de Databricks. La latencia depende del origen, los operadores, el estado y el destino.

¿Qué es el Modo en tiempo real en Spark Structured Streaming?

El Modo en tiempo real es un activador de Structured Streaming que procesa registros de forma continua a medida que llegan, en lugar de esperar a los límites de los micro lotes. Se lanzó inicialmente en Apache Spark 4.1 para consultas sin estado (stateless) en Scala, y Apache Spark 4.2 añadió el activador de PySpark. El soporte con estado (stateful), que incluye agregación en streaming, deduplicación y transformWithState, se ha integrado en la versión de código abierto de Spark para el próximo lanzamiento de Apache Spark 4.3. En Databricks, el Modo en tiempo real está disponible de forma general desde el 19 de marzo de 2026, con soporte para cargas de trabajo con estado, incluido transformWithState.

El Modo en tiempo real obtiene su velocidad de tareas de larga ejecución, flujo de datos continuo y una mezcla (shuffle) de streaming que permite a las etapas intercambiar datos sin bloqueo. Para ver el diseño completo, lee Cómo superar la barrera de los micro lotes: la arquitectura del Modo en tiempo real de Apache Spark.

Línea de tiempo que compara la ejecución de micro lotes de Spark, con intervalos entre lotes, frente al Modo en tiempo real, donde las tareas de larga ejecución procesan registros continuamente entre puntos de control.
Figura 2. El micro lote espera a los límites de los lotes y a mezclas con bloqueo. El Modo en tiempo real ejecuta etapas continuamente y genera puntos de control en segundo plano.

Se activa modificando el activador en una consulta existente:

La duración en el activador controla con qué frecuencia se guarda el punto de control del progreso, con un mínimo de 5 segundos. Los registros no esperan por él; se procesan a medida que llegan. El Modo en tiempo real requiere el modo de salida update. Lee de Kafka y escribe en Kafka o en un destino foreach a nivel de fila. Para guardar los resultados en una tabla Delta, ejecuta una consulta de micro lote independiente. Consulta la referencia del Modo en tiempo real para ver la lista completa de orígenes, destinos y operadores compatibles.

¿Es Spark Structured Streaming competitivo frente a Apache Flink?

Sí. El Modo en tiempo real reduce la brecha de latencia que antes hacía que Flink fuera la opción predeterminada para el streaming operativo, y Spark mantiene un único motor para procesamiento por lotes, streaming, SQL y aprendizaje automático. MakeMyTrip migró su canalización de personalización al Modo en tiempo real. La latencia P50 se redujo de aproximadamente 1,23 segundos a 44 ms, y la P99 bajó de más de un minuto a unos 500 ms. Esta canalización más rápida impulsó un aumento del 7% en las tasas de clics. El equipo eligió Spark específicamente para evitar el uso de dos motores.

Gráfico de barras que muestra cómo la latencia P50 de MakeMyTrip baja de aproximadamente 1,23 segundos a 44 ms y la P99 de más de un minuto a unos 500 ms con el Modo en tiempo real de Spark.
Figura 3. MakeMyTrip redujo la latencia P50 de aproximadamente 1,23 segundos a 44 ms y la P99 de más de un minuto a unos 500 ms tras adoptar el Modo en tiempo real.
PercentilAntes (micro lote)Después (Modo en tiempo real)
P50~1,23 s44 ms
P99>1 min~500 ms

Coinbase y DraftKings también ejecutan el Modo en tiempo real en producción, tal como se describe en el anuncio de disponibilidad general del Modo en tiempo real. Para la mayoría de los equipos, el factor decisivo es operativo. Con Spark, el mismo código, personal y gobernanza cubren todos los niveles de latencia. Flink sigue siendo una opción para organizaciones que ya han invertido en su motor de ejecución para el procesamiento especializado de eventos.

¿Puede Structured Streaming gestionar cargas de trabajo pequeñas?

Sí. Structured Streaming se ejecuta en modo local en un ordenador portátil con pip install pyspark, y el activador availableNow procesa solo los datos nuevos y luego se detiene. Esto hace que el streaming sea práctico para trabajos pequeños e incrementales que se ejecutan de forma programada, no solo para canalizaciones siempre activas. Cuando el volumen crece, la misma consulta se traslada a un clúster o a un entorno de cómputo serverless sin necesidad de realizar cambios. Para probarlo, sigue el tutorial de Apache Spark: Modo en tiempo real.

Informe

La guía de IA agéntica para la empresa

¿Cómo admite Structured Streaming la IA y los agentes?

Structured Streaming es la forma en que los sistemas de IA obtienen datos actualizados. Los equipos lo utilizan para calcular características de forma continua, de modo que un modelo de fraude o recomendación evalúe datos ocurridos hace segundos, y no ayer. DraftKings utiliza el Modo en tiempo real con transformWithState para construir canalizaciones de características unificadas tanto para el entrenamiento de machine learning como para la inferencia en línea. MakeMyTrip está probando el Modo en tiempo real para proporcionar a sus agentes de IA el contexto más reciente.

Escribir streaming también es fácil para los agentes. Las consultas de Structured Streaming, incluyendo transformWithState, se ejecutan en Spark Connect, el cliente ligero de Apache Spark. Un agente de código puede crear y enviar un plan de streaming sin necesidad de mantener una sesión de clúster ni credenciales.

¿Cómo gestiono el estado en una consulta de streaming?

Usa transformWithState para lógica de estado personalizada en Spark 4. Reemplaza las API anteriores mapGroupsWithState y flatMapGroupsWithState. Añade variables de estado tipadas, temporizadores, desalojo por tiempo de vida (time-to-live) para estados que caducan y la capacidad de inicializar el estado desde una tabla existente. Combínalo con el almacenamiento de estado de RocksDB para estados grandes. Para patrones integrados como agregación con ventanas, deduplicación y uniones de stream a stream, usa los operadores estándar y establece un límite de tiempo (watermark) para que Spark pueda limitar el estado y manejar datos retrasados.

¿Cuáles son las mejores prácticas de Structured Streaming en 2026?

  1. Elige el activador según tu necesidad de latencia. Empieza con availableNow, pasa a micro-lotes para segundos y a Modo en Tiempo Real para subsegundos.
  2. Establece siempre un límite de tiempo (watermark) en las consultas con estado para que este se mantenga acotado.
  3. Usa transformWithState para estados personalizados, junto con el almacenamiento de estado de RocksDB.
  4. Dale a cada consulta su propia ubicación de punto de control y trátala como parte del despliegue.
  5. Escribe en formatos de tabla abierta como Delta Lake o Apache Iceberg, gobernados por un catálogo.
  6. Declara las canalizaciones con Spark Declarative Pipelines en lugar de conectar trabajos manualmente. Spark gestiona las dependencias y la actualización incremental. Lee Llevando las canalizaciones declarativas al proyecto de código abierto Apache Spark.
  7. Monitorea las métricas de latencia para el Modo en Tiempo Real. Las métricas de duración de lotes no reflejan la latencia de extremo a extremo.
  8. No desarrolles nuevos trabajos en DStreams. Es la API de streaming heredada.

Structured Streaming en Databricks

Databricks ejecuta Structured Streaming como un servicio gestionado creado por los creadores originales de Apache Spark. Además del Spark de código abierto, incluye:

  • Modo en Tiempo Real con soporte de estado: generalmente disponible, incluyendo transformWithState y carga de estado inicial
  • Lakeflow Spark Declarative Pipelines: tablas de streaming declarativas
  • Cómputo serverless: sin dimensionamiento de clústeres
  • Unity Catalog: gobernanza para cada tabla de streaming

El código escrito para Spark de código abierto se ejecuta en Databricks sin modificaciones. Consulta Structured Streaming en Databricks.

Preguntas frecuentes

¿Cuál es la diferencia entre Spark Streaming y Structured Streaming?

Spark Streaming (DStreams) es la API de streaming original y heredada construida sobre RDDs. Structured Streaming es el motor actual, construido sobre DataFrames y SQL. Todas las nuevas funciones de streaming, incluido el Modo en Tiempo Real, se lanzan únicamente en Structured Streaming.

¿Spark streaming es en tiempo real o por micro-lotes?

Ambos. Structured Streaming utiliza micro-lotes de forma predeterminada, y el Modo en Tiempo Real procesa registros de forma continua con una latencia de extremo a extremo inferior a un segundo. Lo eliges por consulta configurando el activador.

¿Necesito Apache Flink si uso Spark?

Para la mayoría de las cargas de trabajo, no. El Modo en Tiempo Real le da a Spark una latencia inferior a un segundo en el mismo motor que usas para lotes, por lo que mantienes un solo sistema, una sola base de código y un conjunto de habilidades.

¿Qué versión de Spark admite el Modo en Tiempo Real?

Apache Spark 4.1 introdujo el Modo en Tiempo Real para consultas de Scala sin estado, y Apache Spark 4.2 añadió el activador de PySpark. Los operadores con estado llegan al código abierto con Apache Spark 4.3. En Databricks, el Modo en Tiempo Real está disponible de manera general, incluyendo las operaciones con estado.

¿Funciona Structured Streaming con Spark Connect?

Sí. Las consultas de Structured Streaming, incluido transformWithState, se pueden crear y ejecutar desde un cliente de Spark Connect.

Comienza con el Modo en Tiempo Real en Databricks

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original

Recibe las últimas publicaciones en tu bandeja de entrada

Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.