Que sont les applications continues ?

Les applications continues sont des applications de bout en bout qui réagissent aux données en temps réel. En effet, les développeurs souhaitent pouvoir utiliser une même interface de programmation pour prendre en charge certains aspects des applications continues actuellement traités dans des systèmes distincts, comme le service des requêtes ou l'interaction avec les tâches batch. L'exemple ci-dessous montre comment les applications continues peuvent traiter les cas d'usage suivants.

• Mise à jour des données servies en temps réel. Le développeur écrit une seule application Spark qui gère à la fois les mises à jour et le service (par le biais du serveur JDBC de Spark, notamment). Il peut aussi utiliser une API qui exécute automatiquement les mises à jour transactionnelles sur un système de service MySQL, Redis ou Apache Cassandra.
• Extraction, transformation et chargement (ETL). Le développeur dresse simplement la liste des transformations requises, comme dans une tâche batch. Le système en streaming traite alors la coordination avec les deux systèmes de stockage pour garantir un traitement « exactly-once ».
• Création d'une version en temps réel d'une tâche batch existante. Le système de streaming garantit une cohérence constante des résultats d'une tâche batch sur les mêmes données.
• Machine learning en ligne. La bibliothèque de machine learning est conçue pour rassembler, au sein d'une même API, les entraînements en temps réel et par batch à intervalle régulier, ainsi que le service des prédictions.

Ressources complémentaires

• Écrire des applications continues avec l'API PySpark de streaming structuré
• Défis et percées dans la création d'applications continues
• Les applications continues à l'échelle de 100 équipes avec Databricks Delta et le streaming structuré