Modo en tiempo real en Apache Spark™ Structured Streaming
Procesa datos en milisegundos 100 veces más rápido que los micro-lotes de Spark sin necesidad de un segundo motor
Procesa datos en streaming en milisegundos en cómputo serverless
El modo en tiempo real (RTM) ofrece una latencia hasta 100 veces menor que el modo de micro-lotes de Spark para cargas de trabajo operativas, lo que elimina la necesidad de motores independientes como Apache Flink. Al admitir el procesamiento continuo, RTM reduce la latencia de extremo a extremo a tan solo 5 ms para cargas de trabajo de tiempo crítico. Integrado de forma nativa en Apache Spark™ Declarative Pipelines, garantiza que los equipos de datos obtengan un rendimiento extremo y las ventajas de los servicios totalmente gestionados, como la ejecución sin versiones, las actualizaciones automatizadas de la infraestructura y el mantenimiento con un tiempo de inactividad mínimo o nulo.
Desbloquea cargas de trabajo operativas con un motor de ejecución unificado
Minimiza la desviación de la lógica y la duplicación del código base
Utiliza la misma API de Spark para el entrenamiento por lotes a gran escala y la inferencia en tiempo real con latencia ultrabaja. RTM permite una escalabilidad fluida, lo que te permite cambiar los pipelines de lotes por horas a streaming continuo con un solo cambio de código, eliminando por completo la necesidad de complejas arquitecturas de dos motores.
Procesa eventos hasta un 92 % más rápido que Flink
RTM está diseñado para la toma de decisiones en menos de un segundo, lo que genera un impacto en casos de uso como la detección de fraudes en directo y la personalización en tiempo real. A través del flujo continuo de datos, la programación de pipelines y los shuffles en streaming, RTM consigue latencias P99 estrictas entre 40 ms y 300 ms en cargas de trabajo operativas exigentes.
Ofrece una latencia hasta 100 veces menor que los micro-lotes
Pasa de un ETL a nivel de minutos a un streaming operativo a nivel de milisegundos con un cambio de configuración de una sola línea. Para las cargas de trabajo compatibles, RTM ofrece una latencia hasta 100 veces menor que los micro-lotes estándar, lo que te permite impulsar aplicaciones dentro del mismo ecosistema de Spark.
Más información sobre el modo en tiempo real
Descubre más
Explora otras soluciones inteligentes e integradas en Databricks Data + AI Platform.
Apache Spark™ Declarative Pipelines
Simplifica el ETL por lotes y en streaming con calidad de datos automatizada, captura de datos modificados (CDC), ingestión de datos, transformación y gobernanza unificada.
Genie Code
Crea y mantén pipelines de datos con IA agéntica que entiende tus datos.
Zerobus Ingest
Envía datos de eventos directamente a tu lakehouse en tiempo casi real. La API de escritura directa reduce tu carga operativa con un alto rendimiento y escalabilidad.
Unity Catalog
Gobierna de manera fluida todos tus activos de datos con la única solución de gobernanza unificada y abierta de la industria para datos e IA, integrada en Databricks Data + AI Platform.
Da el siguiente paso
Primeros pasos con el modo en tiempo real
Mira un video corto para conocer cómo el modo en tiempo real admite aplicaciones de misión crítica con una latencia inferior a un segundo.
Tutorial: Ejecutar una carga de trabajo de streaming en tiempo real
Aprende a ejecutar consultas de streaming en tiempo real en Databricks con una latencia de extremo a extremo de tan solo 5 ms.
Preguntas frecuentes sobre el modo en tiempo real (RTM)
El modo en tiempo real es una evolución de Apache Spark Structured Streaming que ofrece una latencia 100 veces menor que la ejecución por micro-lotes de Spark.
Al utilizar la programación de pipelines para ejecutar etapas de consulta simultáneamente y shuffles en streaming para transferir datos de inmediato entre tareas, elimina los cuellos de botella de latencia.
Esta arquitectura ofrece una latencia hasta 100 veces menor que el modo de micro-lotes de Spark para cargas de trabajo operativas en streaming compatibles, lo que reduce el procesamiento de segundos a milisegundos, con una latencia de extremo a extremo de tan solo 5 milisegundos.
¿Todo listo para convertirte en una empresa de datos e IA?
Da los primeros pasos en tu transformación