¿Qué son las aplicaciones continuas?

Las aplicaciones continuas son aplicaciones de extremo a extremo que reaccionan a los datos en tiempo real. En particular, a los desarrolladores les gustaría usar una única interfaz de programación para dar soporte a los aspectos de las aplicaciones continuas que actualmente se manejan en sistemas separados, como el servicio de consultas o la interacción con trabajos por lotes. A continuación, se muestra un ejemplo de cómo las aplicaciones continuas pueden gestionar los siguientes casos de uso.

• Actualización de datos que se servirán en tiempo real. El desarrollador escribiría una única aplicación de Spark que maneje tanto las actualizaciones como el servicio (p. ej., a través del servidor JDBC de Spark), o usaría una API que realice automáticamente actualizaciones transaccionales en un sistema de servicio como MySQL, Redis o Apache Cassandra.
• Extraer, transformar y cargar (ETL). El desarrollador simplemente enumeraría las transformaciones necesarias como en un trabajo por lotes, y el sistema de streaming se encargaría de la coordinación con ambos sistemas de almacenamiento para garantizar un procesamiento de exactamente una vez.
• Crear una versión en tiempo real de un trabajo por lotes existente. El sistema de streaming garantizaría que los resultados siempre sean consistentes con un trabajo por lotes sobre los mismos datos.
• Aprendizaje automático en línea. La biblioteca de aprendizaje automático estaría diseñada para combinar entrenamiento en tiempo real, entrenamiento periódico por lotes y servicio de predicción detrás de la misma API.

Recursos adicionales

• Escritura de aplicaciones continuas con la API de Structured Streaming de PySpark
• Dolores de cabeza y avances en el desarrollo de aplicaciones continuas
• Aplicaciones continuas a gran escala de 100 equipos con Databricks Delta y Structured Streaming