Découvrez comment Real-Time Mode apporte une latence de l'ordre de la milliseconde à Spark Structured Streaming grâce à une modification de déclencheur d'une seule ligne, et quand l'utiliser.
Le mode Temps réel est un déclencheur pour Apache Spark™ Structured Streaming qui traite chaque enregistrement dès son arrivée au lieu d'attendre le micro-batch suivant. Il réduit la latence de bout en bout du streaming Spark, passant de quelques secondes à quelques millisecondes, sur le même moteur et avec les mêmes API que vous utilisez déjà pour le streaming par lots et par micro-batchs.
Avant le mode Temps réel, les équipes qui avaient besoin de réponses en moins d'une seconde ajoutaient souvent un deuxième moteur dédié uniquement au streaming. Le mode Temps réel supprime cette exigence pour la plupart des charges de travail. Vous modifiez le déclencheur d'une requête existante et Spark l'exécute en continu.
Le mode Temps réel remplace la planification par micro-batchs par des tâches de longue durée qui continuent de lire et de traiter les données. Une requête par micro-batch attend la limite d'un lot, planifie des tâches et exécute un échange bloquant entre les étapes, ce qui fixe un seuil de latence d'environ une seconde. Le mode Temps réel élimine ce coût de fonctionnement grâce à trois changements, expliqués en détail dans l'article Briser la barrière des micro-batchs : l'architecture du mode Temps réel d'Apache Spark.
L'intervalle du déclencheur contrôle la fréquence à laquelle Spark valide un point de contrôle et signale sa progression. Il ne contrôle pas le temps d'attente d'un enregistrement. Les enregistrements circulent en continu dans la tâche de longue durée, et les points de contrôle sont validés en arrière-plan.
Modifiez le déclencheur d'une requête Structured Streaming en le configurant sur realTime et définissez le mode de sortie sur update. Le reste de la requête demeure identique.
L'intervalle de déclenchement minimal est de 5 secondes, et cinq minutes est un paramètre de production courant. Sur Databricks, activez le mode Temps réel sur le compute classique exécutant Databricks Runtime 16.4 LTS ou une version ultérieure, avec Photon, la mise à l'échelle automatique et les instances Spot désactivées, et définissez spark.databricks.streaming.realTimeMode.enabled sur true. Vous pouvez également l'exécuter sur le compute serverless dans Lakeflow Spark Declarative Pipelines en mode continu.
Dimensionnez toutes les étapes en même temps. Comme toutes les étapes s'exécutent simultanément, le cluster a besoin d'un emplacement de tâche pour chaque tâche de la requête. Une source Kafka avec 8 partitions plus un échange avec 20 partitions nécessite 28 emplacements.
Le mode Temps réel prend en charge les sources et les récepteurs basés sur Kafka, les récepteurs foreach au niveau des lignes et la plupart des opérateurs de streaming, y compris ceux avec état. Ce tableau résume la prise en charge actuelle sur Databricks. Consultez la référence du mode Temps réel pour obtenir la liste complète.
| Domaine | Pris en charge | Non pris en charge |
|---|---|---|
| Sources | Apache Kafka, AWS MSK, Amazon Kinesis, Event Hubs via le connecteur Kafka | Tables Delta comme source |
| Récepteurs | Kafka, foreach (ForeachWriter) | Tables Delta, foreachBatch |
| Mode de sortie | Mettre à jour | Ajouter, complet |
| Opérateurs sans état | Projections, filtres, UDF, jointures flux-statique | Aucun d'important |
| Opérateurs avec état | Agrégations, fenêtres temporelles fixes et glissantes, déduplication, transformWithState (basé sur les lignes) | Fenêtres de session, transformWithStateInPandas, minuteurs basés sur le temps de l'événement |
| Compute (Databricks) | Compute classique, pipelines Lakeflow sur compute classique ou serverless | Notebooks et tâches serverless, édition gratuite |
Tableau 1. Prise en charge du mode Temps réel sur Databricks. Source : Référence du mode Temps réel Databricks.
Pour enregistrer les résultats du mode Temps réel dans une table Delta, écrivez-les dans Kafka et exécutez une requête par micro-batch distincte de Kafka vers Delta.
Le mode Temps réel est généralement disponible sur Databricks et est en cours de déploiement dans les versions open source d'Apache Spark. Sur Databricks, il est généralement disponible depuis le 19 mars 2026, incluant les opérateurs avec état et transformWithState.
| Version | Nouveautés |
|---|---|
| Apache Spark 4.1 | Mode Temps réel pour les requêtes Scala sans état |
| Apache Spark 4.2 | Déclencheur PySpark pour le mode Temps réel |
| Apache Spark 4.3 | Opérateurs avec état : agrégation, déduplication et transformWithState |
| Databricks (GA, mars 2026) | Requêtes avec et sans état, chargement de l'état initial, prise en charge des pipelines Lakeflow |
Tableau 2. Disponibilité du mode Temps réel. Sources : Notes de version de Spark 4.1.0, Documentation du mode Temps réel d'Apache Spark.
Le mode Temps réel atteint une latence de l'ordre d'une seule milliseconde pour les requêtes sans état et d'environ 140 ms (p99) pour les requêtes avec état dans les benchmarks publiés. La latence réelle dépend de la source, des opérateurs, de la taille de l'état, du récepteur et de la capacité du cluster.
| Charge de travail | Latence p99 publiée | Source |
|---|---|---|
| Transformation sans état | 3 ms | Benchmark de latence Databricks |
| Jointure flux-statique | 9 ms | Benchmark de latence Databricks |
| Agrégation avec état (calcul de caractéristiques) | 14 ms | Benchmark de latence Databricks |
| dropDuplicates | 136 ms | Benchmark avec état Databricks |
| Agrégation par fenêtre | 139 ms | Benchmark avec état Databricks |
| transformWithState | 141 ms | Benchmark avec état Databricks |
Tableau 3. Résultats de latence publiés pour le mode Temps réel. Sources : répertoire latency-benchmarks et tutoriel sur le mode Temps réel.
Pour surveiller une requête en cours d'exécution, utilisez les métriques de latence du mode Temps réel, et non la durée des lots. Les métriques de durée des lots ne reflètent pas la latence de bout en bout, et la métrique de bout en bout signalée exclut le temps d'écriture dans le récepteur. Consultez la page sur l'optimisation et la surveillance des performances du mode Temps réel.
En production, MakeMyTrip a réduit la latence P50 d'environ 1,23 seconde à 44 ms et la latence P99 de plus d'une minute à environ 500 ms, ce qui a entraîné une augmentation de 7 % des taux de clics.
Utilisez les opérateurs de streaming standard pour l'agrégation et la déduplication, et utilisez transformWithState pour une logique personnalisée par clé. L'état réside dans la tâche à exécution longue, ce qui permet de maintenir le travail avec état sur le chemin à faible latence. Définissez un watermark pour que Spark puisse libérer l'ancien état.
Pour une logique avec état personnalisée en Python, utilisez l'API basée sur les lignes transformWithState, qui nécessite Databricks Runtime 17.3 LTS ou une version ultérieure. La variante pandas, transformWithStateInPandas, n'est pas prise en charge en mode temps réel. Consultez créer une application avec état personnalisée.
Utilisez le mode temps réel lorsque l'action métier doit se produire en une seconde, et utilisez un déclencheur moins coûteux dans le cas contraire. Le mode temps réel s'exécute en continu sur du calcul dédié, son coût est donc stable.
Lorsque des secondes ou des minutes sont acceptables, le micro-batch ou le déclencheur availableNow constitue le meilleur choix et coûte moins cher. Le code étant le même, vous pouvez commencer avec un déclencheur moins coûteux et changer plus tard.
Oui, pour la plupart des charges de travail. Le mode temps réel offre à Spark la latence en millisecondes qui faisait autrefois d'Apache Flink la référence pour le streaming opérationnel, tout en conservant un seul moteur pour le traitement par lots, SQL et le machine learning. Dans le benchmark Databricks, le mode temps réel a égalé Flink sur le travail sans état et a présenté une latence p99 plus faible sur l'agrégation avec état et les jointures stream-static, ce que Databricks a résumé comme
jusqu'à 92 % plus rapide
jusqu'à 92 % plus rapide. Pour une comparaison complète, lisez Apache Spark vs Apache Flink.Databricks a été fondé par les créateurs originaux d'Apache Spark et exécute le mode temps réel en tant que fonctionnalité généralement disponible. En plus de Spark open source, il ajoute :
Le code écrit pour Spark open source s'exécute sans modification sur Databricks. Pour l'essayer, suivez le tutoriel Apache Spark : Mode temps réel.
Le mode temps réel Databricks est un déclencheur Structured Streaming qui traite les enregistrements en continu au fur et à mesure de leur arrivée plutôt que par micro-batchs. Il réduit la latence de streaming Spark à la milliseconde de bout en bout sans réécriture de code.
Non. Le traitement continu était un ancien mode expérimental doté d'une prise en charge limitée des opérateurs. Le mode temps réel est une nouvelle conception avec des tâches à exécution longue, la planification de pipelines et un shuffle de streaming, et il prend en charge les opérateurs avec état.
Oui. Sur Databricks, le mode temps réel Databricks prend en charge les agrégations, la déduplication et transformWithState dès aujourd'hui. Dans Apache Spark open source, la prise en charge des états arrive avec Spark 4.3.
Pas directement. Le mode temps réel écrit dans Kafka ou un récepteur foreach. Pour enregistrer les résultats dans une table Delta, exécutez une requête par lots distincte de Kafka vers Delta.
Le mode temps réel Databricks s'exécute sur du calcul classique et dans les pipelines déclaratifs Lakeflow Spark, y compris les pipelines sans serveur. Il ne s'exécute pas dans les notebooks ou les tâches sans serveur, il n'est donc pas disponible dans les notebooks de l'édition gratuite de Databricks.
Commencer avec le mode temps réel sur Databricks
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.