Comment le mode temps réel de Spark révolutionne les choix en matière de streaming, avec des tests de performance sur la latence, une comparaison des fonctionnalités et un guide pour choisir un moteur.
Pour la plupart des équipes, Apache Spark™ est le meilleur choix. Spark exécute des traitements ETL par lots, des analyses SQL, du machine learning et du streaming sur un seul moteur, et Real-Time Mode permet désormais d'atteindre une latence de bout en bout de l'ordre de la milliseconde pour le streaming Spark. Apache Flink est un moteur natif de streaming adapté aux charges de travail de traitement d'événements spécialisées, mais le choisir implique généralement d'exécuter un deuxième moteur en plus de Spark.
L'écart de latence était auparavant la principale raison pour laquelle les équipes adoptaient Flink. Avec Real-Time Mode, cette raison a largement disparu, et la véritable question devient de savoir combien de moteurs vous souhaitez créer, exploiter et gouverner.
Spark est un moteur unifié pour le traitement par lots, le streaming, le SQL et l'IA, tandis que Flink est un processeur de flux spécialisé. Tous deux sont des projets open source de l'Apache Software Foundation dotés d'un traitement exactement unique, d'opérateurs avec état et d'API SQL. La différence réside dans leur portée.
Spark a débuté comme un moteur de traitement par lots et a ajouté Structured Streaming, qui traite un flux comme une table en constante évolution. Le même code DataFrame et SQL s'exécute sous forme de tâche par lots planifiée, de flux de micro-lots ou de flux Real-Time Mode. Flink a été conçu dès l'origine pour le streaming et traite le traitement par lots comme un flux borné.
Ce tableau compare les deux moteurs sur les critères qui déterminent généralement le choix.
| Critère | Apache Spark | Apache Flink |
|---|---|---|
| Portée du moteur | Unifié : traitement par lots, streaming, SQL, ML et préparation de données IA | Orienté streaming, avec traitement par lots comme flux borné |
| Latence de streaming | Secondes avec les micro-lots, millisecondes avec Real-Time Mode | Millisecondes |
| Traitement par lots et ETL à grande échelle | Norme de l'industrie pour les traitements par lots à l'échelle du pétaoctet | Pris en charge, moins courant en pratique |
| Langages | Python, SQL, Scala, Java, ainsi que des clients Go, Rust et Swift via Spark Connect | Java, SQL, Python (PyFlink) |
| Traitement avec état | Agrégation, déduplication, jointures, transformWithState, magasin d'état RocksDB | État avec clés, minuteurs, état désagrégé (ForSt) dans Flink 2.x |
| Traitement d'événements complexes | Logique personnalisée avec transformWithState | Bibliothèque CEP intégrée et SQL MATCH_RECOGNIZE |
| Machine learning et IA | MLlib, pipelines de features, recherche vectorielle en SQL, préparation de données LLM | ML natif limité, généralement associé à un autre système |
| Intégration Lakehouse | Lecture et écriture natives Delta Lake et Apache Iceberg | Connecteurs pour Iceberg et d'autres formats |
| Options gérées | Databricks, AWS EMR et Glue, Google Cloud, Microsoft Fabric | AWS, Confluent, Ververica et autres |
Tableau 1. Comparaison entre Apache Spark et Apache Flink. Sources : Documentation d'Apache Spark Real-Time Mode, Version 2.0 d'Apache Flink et Documentation de Flink CEP.
Dans le benchmark publié par Databricks, Spark Real-Time Mode a égalé Flink sur les charges de travail sans état et a affiché une latence p99 inférieure sur l'agrégation avec état et les jointures flux-statique. Le code du benchmark est public, utilise des charges de travail de calcul de features dérivées de clients et s'exécute à 10 000 enregistrements par seconde pendant 30 minutes, en mesurant la latence d'entrée-sortie Kafka. Databricks a résumé les résultats comme étant jusqu'à 92 % plus rapides que Flink.
| Charge de travail | Spark Real-Time Mode p99 | Apache Flink p99 |
|---|---|---|
| Transformation sans état | 3 ms | 3 ms |
| Agrégation avec état | 14 ms | 45 ms |
| Jointure flux-statique | 9 ms | 95 ms |
Comment interpréter ces chiffres : Databricks a exécuté le benchmark. Spark s'exécutait sur Databricks et Flink sur AWS Managed Service for Apache Flink 1.18. Les résultats comparent la pire exécution de Spark avec la meilleure exécution de Flink. Considérez-les comme des indicateurs pour ces types de charges de travail et testez votre propre pipeline avant de prendre une décision.
Les résultats en production confirment cette tendance. MakeMyTrip a envisagé Flink, a choisi Spark Real-Time Mode pour éviter d'utiliser un deuxième moteur et a réduit la latence P50 à 44 ms et la latence P99 de plus d'une minute à environ 500 ms. Coinbase et DraftKings utilisent également Real-Time Mode en production. Pour découvrir comment le moteur y parvient, lisez l'article Dépasser la barrière des micro-lots.
Il vous suffit de modifier le déclencheur. Real-Time Mode est un déclencheur appliqué à une requête Structured Streaming existante, de sorte que le même code peut passer d'un niveau de latence à un autre sans nécessiter de réécriture.
Real-Time Mode nécessite un mode de sortie de mise à jour et lit/écrit des données depuis et vers Kafka ou un récepteur foreach au niveau des lignes. Les opérateurs avec état font leur apparition en open source avec Apache Spark 4.3 et sont généralement disponibles dès aujourd'hui sur Databricks. Sur Databricks, il s'exécute sur du compute classique ou dans Lakeflow Spark Declarative Pipelines. Consultez la référence Real-Time Mode pour consulter la matrice de compatibilité complète.
Flink peut être un meilleur choix pour un nombre restreint de charges de travail de streaming spécialisées. Envisagez-le si la plupart des conditions suivantes sont réunies :
Si le flux alimente également des analyses, des features de ML ou des tables de lakehouse, Spark évite de dupliquer la logique, les opérations et la gouvernance sur deux moteurs.
Chaque moteur supplémentaire introduit une deuxième base de code, un second ensemble de compétences et de nouvelles règles de gouvernance. Les équipes qui associent Spark pour les traitements par lots et Flink pour le streaming réécrivent souvent deux fois la même logique métier et doivent déboguer les divergences entre les deux.
Les pipelines peuvent également être déclarés au lieu d'être câblés à la main. Spark Declarative Pipelines gère les dépendances et l'actualisation incrémentielle pour les tables de streaming.
Databricks a été fondé par les créateurs originaux d'Apache Spark et propose le mode temps réel en tant que fonctionnalité générale, incluant les opérateurs avec état et transformWithState. Il ajoute Lakeflow Spark Declarative Pipelines, la gouvernance Unity Catalog et des pipelines sans serveur. Le code écrit pour Spark open source s'exécute sur Databricks sans modification. Pour commencer, suivez le tutoriel Apache Spark : Mode temps réel.
Dans le benchmark publié par Databricks, le mode temps réel de Spark égale Flink sur les charges de travail sans état et présente une latence p99 inférieure sur l'agrégation avec état et les jointures stream-static. Les résultats dépendent de la charge de travail, pensez donc à tester votre propre pipeline.
Pas seulement. Spark Structured Streaming utilise par défaut les micro-batchs, et le mode temps réel traite les enregistrements en continu avec une latence de l'ordre de la milliseconde. Vous choisissez par requête en définissant le déclencheur.
Pour la plupart des charges de travail, non. Le mode temps réel offre à Spark une latence de l'ordre de la milliseconde sur le même moteur que vous utilisez pour le batch, le SQL et le ML, ce qui vous évite d'utiliser deux systèmes.
Flink peut convenir à des charges de travail spécialisées telles qu'un état indexé très volumineux, au traitement d'événements complexes ou aux équipes qui utilisent déjà une plateforme Flink pour des flux autonomes.
Oui. La plupart des logiques Flink SQL et DataStream correspondent à Spark SQL et aux DataFrames dans Structured Streaming, et le mode temps réel couvre le parcours à faible latence. Commencez par les jobs sans état et d'agrégation, puis déplacez la logique avec état vers transformWithState.
Commencer avec le mode temps réel sur Databricks
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Real-Time & Streaming Data, Benchmarks et Open Table Formats
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.