Revenir au contenu principal

Qu'est-ce que le mode temps réel dans Apache Spark ?

Découvrez comment Real-Time Mode apporte une latence de l'ordre de la milliseconde à Spark Structured Streaming grâce à une modification de déclencheur d'une seule ligne, et quand l'utiliser.

par Équipe Databricks

  • Databricks Real-Time Mode est un déclencheur Spark Structured Streaming qui traite les enregistrements dès leur arrivée, pour une latence de bout en bout de l'ordre de la milliseconde.
  • Vous l'activez en modifiant une seule ligne de déclenchement. La source, les transformations et le point de contrôle restent les mêmes, aucune réécriture n'est donc nécessaire.
  • Utilisez-le pour la détection des fraudes, la personnalisation et les fonctionnalités d'IA en temps réel, là où Spark couvre désormais une latence qui nécessitait auparavant Apache Flink.

Le mode Temps réel est un déclencheur pour Apache Spark™ Structured Streaming qui traite chaque enregistrement dès son arrivée au lieu d'attendre le micro-batch suivant. Il réduit la latence de bout en bout du streaming Spark, passant de quelques secondes à quelques millisecondes, sur le même moteur et avec les mêmes API que vous utilisez déjà pour le streaming par lots et par micro-batchs.

Avant le mode Temps réel, les équipes qui avaient besoin de réponses en moins d'une seconde ajoutaient souvent un deuxième moteur dédié uniquement au streaming. Le mode Temps réel supprime cette exigence pour la plupart des charges de travail. Vous modifiez le déclencheur d'une requête existante et Spark l'exécute en continu.

Comment fonctionne le mode Temps réel ?

Le mode Temps réel remplace la planification par micro-batchs par des tâches de longue durée qui continuent de lire et de traiter les données. Une requête par micro-batch attend la limite d'un lot, planifie des tâches et exécute un échange bloquant entre les étapes, ce qui fixe un seuil de latence d'environ une seconde. Le mode Temps réel élimine ce coût de fonctionnement grâce à trois changements, expliqués en détail dans l'article Briser la barrière des micro-batchs : l'architecture du mode Temps réel d'Apache Spark.

Schéma des trois innovations du mode Temps réel : flux de données continu, planification de toutes les étapes en une seule fois par le pipeline, et échange de streaming non bloquant entre les étapes.
Figure 1. Le mode Temps réel combine un flux de données continu, une planification par pipeline et un échange de streaming pour que les enregistrements se déplacent de la source vers le récepteur sans attendre les limites des lots.
Chronologie comparant l'exécution par micro-batchs de Spark avec des intervalles entre les lots au mode Temps réel, où des tâches de longue durée traitent les enregistrements en continu entre les points de contrôle.
Figure 2. Le micro-batch attend les limites des lots et les échanges bloquants. Le mode Temps réel exécute les étapes en continu et crée des points de contrôle en arrière-plan.

L'intervalle du déclencheur contrôle la fréquence à laquelle Spark valide un point de contrôle et signale sa progression. Il ne contrôle pas le temps d'attente d'un enregistrement. Les enregistrements circulent en continu dans la tâche de longue durée, et les points de contrôle sont validés en arrière-plan.

Comment activer le mode Temps réel ?

Modifiez le déclencheur d'une requête Structured Streaming en le configurant sur realTime et définissez le mode de sortie sur update. Le reste de la requête demeure identique.

L'intervalle de déclenchement minimal est de 5 secondes, et cinq minutes est un paramètre de production courant. Sur Databricks, activez le mode Temps réel sur le compute classique exécutant Databricks Runtime 16.4 LTS ou une version ultérieure, avec Photon, la mise à l'échelle automatique et les instances Spot désactivées, et définissez spark.databricks.streaming.realTimeMode.enabled sur true. Vous pouvez également l'exécuter sur le compute serverless dans Lakeflow Spark Declarative Pipelines en mode continu.

Dimensionnez toutes les étapes en même temps. Comme toutes les étapes s'exécutent simultanément, le cluster a besoin d'un emplacement de tâche pour chaque tâche de la requête. Une source Kafka avec 8 partitions plus un échange avec 20 partitions nécessite 28 emplacements.

Que prend en charge le mode Temps réel ?

Le mode Temps réel prend en charge les sources et les récepteurs basés sur Kafka, les récepteurs foreach au niveau des lignes et la plupart des opérateurs de streaming, y compris ceux avec état. Ce tableau résume la prise en charge actuelle sur Databricks. Consultez la référence du mode Temps réel pour obtenir la liste complète.

DomainePris en chargeNon pris en charge
SourcesApache Kafka, AWS MSK, Amazon Kinesis, Event Hubs via le connecteur KafkaTables Delta comme source
RécepteursKafka, foreach (ForeachWriter)Tables Delta, foreachBatch
Mode de sortieMettre à jourAjouter, complet
Opérateurs sans étatProjections, filtres, UDF, jointures flux-statiqueAucun d'important
Opérateurs avec étatAgrégations, fenêtres temporelles fixes et glissantes, déduplication, transformWithState (basé sur les lignes)Fenêtres de session, transformWithStateInPandas, minuteurs basés sur le temps de l'événement
Compute (Databricks)Compute classique, pipelines Lakeflow sur compute classique ou serverlessNotebooks et tâches serverless, édition gratuite

Tableau 1. Prise en charge du mode Temps réel sur Databricks. Source : Référence du mode Temps réel Databricks.

Pour enregistrer les résultats du mode Temps réel dans une table Delta, écrivez-les dans Kafka et exécutez une requête par micro-batch distincte de Kafka vers Delta.

Quelle version de Spark prend en charge le mode Temps réel ?

Le mode Temps réel est généralement disponible sur Databricks et est en cours de déploiement dans les versions open source d'Apache Spark. Sur Databricks, il est généralement disponible depuis le 19 mars 2026, incluant les opérateurs avec état et transformWithState.

VersionNouveautés
Apache Spark 4.1Mode Temps réel pour les requêtes Scala sans état
Apache Spark 4.2Déclencheur PySpark pour le mode Temps réel
Apache Spark 4.3Opérateurs avec état : agrégation, déduplication et transformWithState
Databricks (GA, mars 2026)Requêtes avec et sans état, chargement de l'état initial, prise en charge des pipelines Lakeflow

Tableau 2. Disponibilité du mode Temps réel. Sources : Notes de version de Spark 4.1.0, Documentation du mode Temps réel d'Apache Spark.

Quelle est la rapidité du mode Temps réel ?

Le mode Temps réel atteint une latence de l'ordre d'une seule milliseconde pour les requêtes sans état et d'environ 140 ms (p99) pour les requêtes avec état dans les benchmarks publiés. La latence réelle dépend de la source, des opérateurs, de la taille de l'état, du récepteur et de la capacité du cluster.

Charge de travailLatence p99 publiéeSource
Transformation sans état3 msBenchmark de latence Databricks
Jointure flux-statique9 msBenchmark de latence Databricks
Agrégation avec état (calcul de caractéristiques)14 msBenchmark de latence Databricks
dropDuplicates136 msBenchmark avec état Databricks
Agrégation par fenêtre139 msBenchmark avec état Databricks
transformWithState141 msBenchmark avec état Databricks

Tableau 3. Résultats de latence publiés pour le mode Temps réel. Sources : répertoire latency-benchmarks et tutoriel sur le mode Temps réel.

Pour surveiller une requête en cours d'exécution, utilisez les métriques de latence du mode Temps réel, et non la durée des lots. Les métriques de durée des lots ne reflètent pas la latence de bout en bout, et la métrique de bout en bout signalée exclut le temps d'écriture dans le récepteur. Consultez la page sur l'optimisation et la surveillance des performances du mode Temps réel.

En production, MakeMyTrip a réduit la latence P50 d'environ 1,23 seconde à 44 ms et la latence P99 de plus d'une minute à environ 500 ms, ce qui a entraîné une augmentation de 7 % des taux de clics.

Graphique à barres montrant la latence P50 de MakeMyTrip passant d'environ 1,23 seconde à 44 ms et la latence P99 de plus d'une minute à environ 500 ms avec le mode Temps réel de Spark.
Figure 3. MakeMyTrip a réduit la latence P50 d'environ 1,23 seconde à 44 ms et la latence P99 de plus d'une minute à environ 500 ms après l'adoption du mode Temps réel.
Rapport

Le guide pratique de l'IA agentique pour l'entreprise

Comment utiliser l'état en mode Temps réel ?

Utilisez les opérateurs de streaming standard pour l'agrégation et la déduplication, et utilisez transformWithState pour une logique personnalisée par clé. L'état réside dans la tâche à exécution longue, ce qui permet de maintenir le travail avec état sur le chemin à faible latence. Définissez un watermark pour que Spark puisse libérer l'ancien état.

Pour une logique avec état personnalisée en Python, utilisez l'API basée sur les lignes transformWithState, qui nécessite Databricks Runtime 17.3 LTS ou une version ultérieure. La variante pandas, transformWithStateInPandas, n'est pas prise en charge en mode temps réel. Consultez créer une application avec état personnalisée.

Quand dois-je utiliser le mode temps réel ?

Utilisez le mode temps réel lorsque l'action métier doit se produire en une seconde, et utilisez un déclencheur moins coûteux dans le cas contraire. Le mode temps réel s'exécute en continu sur du calcul dédié, son coût est donc stable.

  • Notation des risques et de la fraude. DraftKings utilise le mode temps réel avec transformWithState pour la détection des fraudes dans les paris sportifs en direct.
  • Personnalisation et recommandations. MakeMyTrip propose des résultats d'hôtels personnalisés avec une latence P50 de 44 ms.
  • Fonctionnalités d'IA en temps réel et contexte d'agent. Le même pipeline calcule les caractéristiques pour l'entraînement des modèles et l'inférence en ligne, et fournit aux agents d'IA les derniers événements.
  • Alertes opérationnelles et surveillance IoT. Les signaux des capteurs et de sécurité déclenchent des actions en quelques millisecondes.

Lorsque des secondes ou des minutes sont acceptables, le micro-batch ou le déclencheur availableNow constitue le meilleur choix et coûte moins cher. Le code étant le même, vous pouvez commencer avec un déclencheur moins coûteux et changer plus tard.

Le mode temps réel est-il une alternative à Apache Flink ?

Oui, pour la plupart des charges de travail. Le mode temps réel offre à Spark la latence en millisecondes qui faisait autrefois d'Apache Flink la référence pour le streaming opérationnel, tout en conservant un seul moteur pour le traitement par lots, SQL et le machine learning. Dans le benchmark Databricks, le mode temps réel a égalé Flink sur le travail sans état et a présenté une latence p99 plus faible sur l'agrégation avec état et les jointures stream-static, ce que Databricks a résumé comme

jusqu'à 92 % plus rapide

jusqu'à 92 % plus rapide. Pour une comparaison complète, lisez Apache Spark vs Apache Flink.

Le mode temps réel sur Databricks

Databricks a été fondé par les créateurs originaux d'Apache Spark et exécute le mode temps réel en tant que fonctionnalité généralement disponible. En plus de Spark open source, il ajoute :

  • Mode temps réel avec état aujourd'hui : agrégations, déduplication et transformWithState avec chargement de l'état initial
  • Pipelines déclaratifs Lakeflow Spark : flux en temps réel sur du calcul classique ou sans serveur
  • Unity Catalog : gouvernance et traçabilité pour les tables en temps réel et par lots

Le code écrit pour Spark open source s'exécute sans modification sur Databricks. Pour l'essayer, suivez le tutoriel Apache Spark : Mode temps réel.

FAQ

Qu'est-ce que le mode temps réel dans Spark ?

Le mode temps réel Databricks est un déclencheur Structured Streaming qui traite les enregistrements en continu au fur et à mesure de leur arrivée plutôt que par micro-batchs. Il réduit la latence de streaming Spark à la milliseconde de bout en bout sans réécriture de code.

Le mode temps réel est-il identique au traitement continu ?

Non. Le traitement continu était un ancien mode expérimental doté d'une prise en charge limitée des opérateurs. Le mode temps réel est une nouvelle conception avec des tâches à exécution longue, la planification de pipelines et un shuffle de streaming, et il prend en charge les opérateurs avec état.

Le mode temps réel prend-il en charge les opérations avec état ?

Oui. Sur Databricks, le mode temps réel Databricks prend en charge les agrégations, la déduplication et transformWithState dès aujourd'hui. Dans Apache Spark open source, la prise en charge des états arrive avec Spark 4.3.

Le mode temps réel peut-il écrire dans Delta Lake ?

Pas directement. Le mode temps réel écrit dans Kafka ou un récepteur foreach. Pour enregistrer les résultats dans une table Delta, exécutez une requête par lots distincte de Kafka vers Delta.

Le mode temps réel s'exécute-t-il sur du sans serveur ou l'édition gratuite ?

Le mode temps réel Databricks s'exécute sur du calcul classique et dans les pipelines déclaratifs Lakeflow Spark, y compris les pipelines sans serveur. Il ne s'exécute pas dans les notebooks ou les tâches sans serveur, il n'est donc pas disponible dans les notebooks de l'édition gratuite de Databricks.

Commencer avec le mode temps réel sur Databricks

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original

Recevez les derniers articles dans votre boîte mail

Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.