Ir al contenido principal

¿Qué es el modo en tiempo real en Apache Spark?

Cómo Real-Time Mode aporta latencia de milisegundos a Spark Structured Streaming con un cambio de una sola línea, y cuándo usarlo.

por Personal de Databricks

  • Databricks Real-Time Mode es un activador de Spark Structured Streaming que procesa los registros a medida que llegan, para lograr una latencia de extremo a extremo de milisegundos.
  • Lo habilitas cambiando una línea de activación. La fuente, las transformaciones y el punto de control se mantienen igual, por lo que no es necesario reescribir nada.
  • Úsalo para la detección de fraudes, la personalización y funciones de IA en tiempo real, donde Spark ahora cubre una latencia que antes requería Apache Flink.

El modo en tiempo real es un activador para Apache Spark™ Structured Streaming que procesa cada registro tan pronto como llega, en lugar de esperar al siguiente micro-batch. Reduce la latencia de extremo a extremo de Spark de segundos a milisegundos, usando el mismo motor y las mismas API que ya usas para el streaming por lotes y por micro-batch.

Antes del modo en tiempo real, los equipos que necesitaban respuestas de menos de un segundo solían añadir un segundo motor exclusivo para streaming. El modo en tiempo real elimina ese requisito para la mayoría de las cargas de trabajo. Cambias el activador en una consulta existente y Spark la ejecuta de forma continua.

¿Cómo funciona el modo en tiempo real?

El modo en tiempo real sustituye la programación de micro-batches por tareas de larga duración que siguen leyendo y procesando datos. Una consulta de micro-batch espera un límite de lote, programa tareas y ejecuta un mezclado (shuffle) bloqueante entre etapas, lo que establece un límite mínimo de latencia de aproximadamente un segundo. El modo en tiempo real elimina esa sobrecarga con tres cambios, explicados en profundidad en Rompiendo la barrera de los micro-batches: la arquitectura del modo en tiempo real de Apache Spark.

Diagrama de las tres innovaciones del modo en tiempo real: flujo de datos continuo, programación en pipeline de todas las etapas a la vez y un mezclado (shuffle) de streaming no bloqueante entre etapas.
Figura 1. El modo en tiempo real combina flujo de datos continuo, programación en pipeline y un mezclado de streaming para que los registros se muevan del origen al receptor sin esperar a los límites de los lotes.
Línea de tiempo que compara la ejecución de micro-batches de Spark con intervalos entre lotes frente al modo en tiempo real, donde las tareas de larga duración procesan registros de forma continua entre los puntos de control.
Figura 2. El micro-batch espera los límites de los lotes y los mezclados bloqueantes. El modo en tiempo real ejecuta las etapas de forma continua y realiza puntos de control en segundo plano.

El intervalo del activador controla con qué frecuencia Spark confirma un punto de control (checkpoint) e informa sobre el progreso. No controla cuánto tiempo espera un registro. Los registros fluyen a través de la tarea de larga duración todo el tiempo, y los puntos de control se confirman en segundo plano.

¿Cómo activo el modo en tiempo real?

Cambia el activador en una consulta de Structured Streaming a realTime y configura el modo de salida en update. El resto de la consulta permanece igual.

El intervalo mínimo del activador es de 5 segundos, y cinco minutos es una configuración de producción habitual. En Databricks, habilita el modo en tiempo real en cómputo clásico que ejecute Databricks Runtime 16.4 LTS o posterior, con Photon, el autoescalado y las instancias Spot desactivados, y establece spark.databricks.streaming.realTimeMode.enabled en true. También puedes ejecutarlo en cómputo serverless dentro de Lakeflow Spark Declarative Pipelines en modo continuo.

Dimensiona cada etapa a la vez. Como todas las etapas se ejecutan de forma simultánea, el clúster necesita un espacio de tareas para cada tarea de la consulta. Un origen Kafka con 8 particiones más un mezclado (shuffle) con 20 particiones necesita 28 espacios.

¿Qué admite el modo en tiempo real?

El modo en tiempo real admite orígenes y receptores (sinks) basados en Kafka, receptores foreach a nivel de fila y la mayoría de los operadores de streaming, incluidos los con estado (stateful). Esta tabla resume la compatibilidad actual en Databricks. Consulta la referencia del modo en tiempo real para ver la lista completa.

ÁreaCompatibleNo compatible
OrígenesApache Kafka, AWS MSK, Amazon Kinesis, Event Hubs mediante el conector de KafkaTablas Delta como origen
Receptores (Sinks)Kafka, foreach (ForeachWriter)Tablas Delta, foreachBatch
Modo de salidaUpdateAppend, complete
Operadores sin estado (Stateless)Proyecciones, filtros, UDFs, uniones de streaming y estáticas (stream-static joins)Ninguno destacable
Operadores con estado (Stateful)Agregaciones, ventanas deslizantes y de tipo tumbling, deduplicación, transformWithState (basado en filas)Ventanas de sesión, transformWithStateInPandas, temporizadores de tiempo de eventos
Cómputo (Databricks)Cómputo clásico, Lakeflow pipelines en clásico o serverlessNotebooks y trabajos serverless, Free Edition

Tabla 1. Compatibilidad del modo en tiempo real en Databricks. Fuente: Referencia del modo en tiempo real de Databricks.

Para volcar los resultados del modo en tiempo real en una tabla Delta, escríbelos en Kafka y ejecuta una consulta de micro-batch independiente desde Kafka hasta Delta.

¿Qué versión de Spark admite el modo en tiempo real?

El modo en tiempo real está disponible con carácter general (GA) en Databricks y se está implementando en las versiones de código abierto de Apache Spark. En Databricks, está disponible con carácter general desde el 19 de marzo de 2026, incluidos los operadores con estado y transformWithState.

VersiónNovedades añadidas
Apache Spark 4.1Modo en tiempo real para consultas de Scala sin estado
Apache Spark 4.2Activador del modo en tiempo real para PySpark
Apache Spark 4.3Operadores con estado: agregación, deduplicación y transformWithState
Databricks (GA, marzo de 2026)Consultas con y sin estado, carga de estado inicial, compatibilidad con Lakeflow pipeline

Tabla 2. Disponibilidad del modo en tiempo real. Fuentes: Notas de la versión de Spark 4.1.0, Documentación del modo en tiempo real de Apache Spark.

¿Qué tan rápido es el modo en tiempo real?

El modo en tiempo real alcanza una latencia de un solo dígito en milisegundos para consultas sin estado y aproximadamente 140 ms p99 para consultas con estado en las pruebas comparativas (benchmarks) publicadas. La latencia real depende del origen, los operadores, el tamaño del estado, el receptor y la capacidad del clúster.

Carga de trabajoLatencia p99 publicadaFuente
Transformación sin estado3 msPrueba comparativa de latencia de Databricks
Unión de streaming y estática (Stream-static join)9 msPrueba comparativa de latencia de Databricks
Agregación con estado (cómputo de características)14 msPrueba comparativa de latencia de Databricks
dropDuplicates136 msPrueba comparativa con estado de Databricks
Agregación por ventana139 msPrueba comparativa con estado de Databricks
transformWithState141 msPrueba comparativa con estado de Databricks

Tabla 3. Resultados de latencia publicados para el modo en tiempo real. Fuentes: repositorio de pruebas comparativas de latencia y el tutorial del modo en tiempo real.

Para supervisar una consulta en ejecución, utiliza las métricas de latencia del modo en tiempo real, no la duración del lote. Las métricas de duración del lote no reflejan la latencia de extremo a extremo, y la métrica de extremo a extremo informada excluye el tiempo de escritura del receptor. Consulta optimizar y supervisar el rendimiento del modo en tiempo real.

En producción, MakeMyTrip redujo la latencia P50 de aproximadamente 1,23 segundos a 44 ms y la P99 de más de un minuto a unos 500 ms, lo que impulsó un aumento del 7 % en las tasas de clics (CTR).

Gráfico de barras que muestra cómo la latencia P50 de MakeMyTrip desciende de aproximadamente 1,23 segundos a 44 ms y la P99 de más de un minuto a unos 500 ms con el modo en tiempo real de Spark.
Figura 3. MakeMyTrip redujo la latencia P50 de aproximadamente 1,23 segundos a 44 ms y la P99 de más de un minuto a unos 500 ms tras adoptar el modo en tiempo real.
Informe

La guía de IA agéntica para la empresa

¿Cómo uso el estado en el modo en tiempo real?

Usa los operadores de streaming estándar para agregación y deduplicación, y usa transformWithState para lógica personalizada por clave. El estado vive dentro de la tarea de ejecución prolongada, por lo que el trabajo con estado permanece en la ruta de baja latencia. Configura un watermark para que Spark pueda liberar el estado antiguo.

Para lógica con estado personalizada en Python, usa la API transformWithState basada en filas, que requiere Databricks Runtime 17.3 LTS o posterior. La variante de pandas, transformWithStateInPandas, no es compatible en el modo en tiempo real. Consulta crear una aplicación con estado personalizada.

¿Cuándo debo usar el modo en tiempo real?

Usa el modo en tiempo real cuando la acción comercial deba ocurrir en menos de un segundo, y usa un activador más económico cuando no sea así. El modo en tiempo real se ejecuta continuamente en cómputo dedicado, por lo que su costo es estable.

  • Puntuación de fraude y riesgo. DraftKings usa el modo en tiempo real con transformWithState para la detección de fraudes en apuestas deportivas en vivo.
  • Personalización y recomendaciones. MakeMyTrip ofrece resultados de hoteles personalizados con una latencia P50 de 44 ms.
  • Características de IA en tiempo real y contexto de agentes. La misma canalización calcula características para el entrenamiento de modelos y la inferencia en línea, y mantiene a los agentes de IA provistos de los eventos más recientes.
  • Alertas operativas y monitoreo de IoT. Las señales de sensores y seguridad activan acciones en milisegundos.

Cuando los segundos o minutos son aceptables, el micro-lote o el activador availableNow son la mejor opción y cuestan menos. Debido a que el código es el mismo, puedes comenzar con un activador más económico y cambiar después.

¿Es el modo en tiempo real una alternativa a Apache Flink?

Sí, para la mayoría de las cargas de trabajo. El modo en tiempo real le da a Spark la latencia de milisegundos que alguna vez hizo que Apache Flink fuera el predeterminado para el streaming operativo, al tiempo que mantiene un solo motor para procesamiento por lotes, SQL y aprendizaje automático. En la prueba de rendimiento de Databricks, el modo en tiempo real igualó a Flink en trabajo sin estado y tuvo una menor latencia p99 en agregaciones con estado y uniones de flujo estático, lo que Databricks resumió como hasta un 92% más rápido. Para una comparación completa, lee Apache Spark vs Apache Flink.

Modo en tiempo real en Databricks

Databricks fue fundada por los creadores originales de Apache Spark y ejecuta el modo en tiempo real como una característica generalmente disponible. Además del código abierto de Spark, agrega:

  • Modo en tiempo real con estado hoy: agregaciones, deduplicación y transformWithState con carga de estado inicial
  • Lakeflow Spark Declarative Pipelines: flujos en tiempo real en cómputo clásico o sin servidor
  • Unity Catalog: gobernanza y linaje para tablas en tiempo real y por lotes

El código escrito para el Spark de código abierto se ejecuta en Databricks sin cambios. Para probarlo, sigue el tutorial de Apache Spark: Modo en tiempo real.

Preguntas frecuentes

¿Qué es el modo en tiempo real en Spark?

El modo en tiempo real de Databricks es un activador de Structured Streaming que procesa registros continuamente a medida que llegan en lugar de en micro-lotes. Lleva el streaming de Spark a una latencia de milisegundos de extremo a extremo sin necesidad de reescribir código.

¿Es el modo en tiempo real lo mismo que el procesamiento continuo?

No. El procesamiento continuo era un modo experimental anterior con soporte de operadores limitado. El modo en tiempo real es un nuevo diseño con tareas de ejecución prolongada, programación de canalizaciones y un ordenamiento aleatorio (shuffle) de streaming, y es compatible con operadores con estado.

¿Es compatible el modo en tiempo real con operaciones con estado?

Sí. En Databricks, el modo en tiempo real de Databricks admite agregaciones, deduplicación y transformWithState hoy en día. En el Apache Spark de código abierto, el soporte con estado llega con Spark 4.3.

¿Puede el modo en tiempo real escribir en Delta Lake?

No directamente. El modo en tiempo real escribe en Kafka o en un destino foreach. Para volcar los resultados en una tabla Delta, ejecuta una consulta de micro-lotes independiente de Kafka a Delta.

¿Se ejecuta el modo en tiempo real en cómputo sin servidor o en la edición gratuita?

El modo en tiempo real de Databricks se ejecuta en cómputo clásico y en Lakeflow Spark Declarative Pipelines, incluidas las canalizaciones sin servidor. No se ejecuta en blocs de notas ni trabajos sin servidor, por lo que no está disponible en los blocs de notas de Databricks Free Edition.

Comienza con el modo en tiempo real en Databricks

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original

Recibe las últimas publicaciones en tu bandeja de entrada

Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.