Wie der Spark Real-Time Mode die Streaming-Entscheidung verändert – mit Latenz-Benchmarks, einem Funktionsvergleich und einer Anleitung zur Auswahl einer Engine.
Für die meisten Teams ist Apache Spark™ die bessere Wahl. Spark führt Batch-ETL, SQL-Analysen, maschinelles Lernen und Streaming auf einer Engine aus, und der Real-Time Mode ermöglicht nun Spark-Streaming mit Latenzen im Millisekundenbereich über das gesamte System hinweg. Apache Flink ist eine Stream-native Engine, die sich für spezielle Event-Processing-Workloads eignet, aber ihre Verwendung bedeutet in der Regel, dass neben Spark eine zweite Engine betrieben werden muss.
Die Latenzlücke war früher der Hauptgrund, warum Teams Flink hinzugefügt haben. Mit dem Real-Time Mode ist dieser Grund größtenteils weggefallen, und die eigentliche Frage lautet nun, wie viele Engines Sie bauen, betreiben und verwalten möchten.
Spark ist eine einheitliche Engine für Batch, Streaming, SQL und KI, während Flink ein spezialisierter Stream-Prozessor ist. Beide sind Open-Source-Projekte der Apache Software Foundation mit Exactly-Once-Verarbeitung, zustandsbehafteten Operatoren (Stateful Operators) und SQL-APIs. Der Unterschied liegt im Funktionsumfang.
Spark begann als Batch-Engine und wurde um Structured Streaming erweitert, das einen Stream wie eine Tabelle behandelt, die kontinuierlich wächst. Derselbe DataFrame- und SQL-Code wird als geplanter Batch-Job, Micro-Batch-Stream oder Real-Time-Mode-Stream ausgeführt. Flink wurde von Grund auf für Streaming entwickelt und behandelt Batches als begrenzte Streams.
Diese Tabelle vergleicht die beiden Engines anhand der Kriterien, die normalerweise die Entscheidung beeinflussen.
| Dimension | Apache Spark | Apache Flink |
|---|---|---|
| Engine-Umfang | Einheitlich: Batch, Streaming, SQL, ML und KI-Datenaufbereitung | Stream-First, mit Batch als begrenztem Stream |
| Streaming-Latenz | Sekunden bei Micro-Batches, Millisekunden mit dem Real-Time Mode | Millisekunden |
| Batch und großflächiges ETL | Branchenstandard für Batches im Petabyte-Bereich | Wird unterstützt, in der Praxis seltener |
| Sprachen | Python, SQL, Scala, Java sowie Go-, Rust- und Swift-Clients über Spark Connect | Java, SQL, Python (PyFlink) |
| Zustandsbehaftete Verarbeitung (Stateful Processing) | Aggregation, Deduplizierung, Joins, transformWithState, RocksDB-Zustandsspeicher | Keyed State, Timers, disaggregierter Zustand (ForSt) in Flink 2.x |
| Komplexe Ereignisverarbeitung (CEP) | Benutzerdefinierte Logik mit transformWithState | Integrierte CEP-Bibliothek und SQL MATCH_RECOGNIZE |
| Maschinelles Lernen und KI | MLlib, Feature-Pipelines, Vektorsuche in SQL, LLM-Datenaufbereitung | Eingeschränktes natives ML, meist in Kombination mit einem anderen System |
| Lakehouse-Integration | Natives Lesen und Schreiben für Delta Lake und Apache Iceberg | Konnektoren für Iceberg und andere Formate |
| Verwaltete Optionen | Databricks, AWS EMR und Glue, Google Cloud, Microsoft Fabric | AWS, Confluent, Ververica und andere |
Tabelle 1. Vergleich zwischen Apache Spark und Apache Flink. Quellen: Apache Spark Real-Time Mode Docs, Apache Flink 2.0 Release und Flink CEP Docs.
Im veröffentlichten Benchmark von Databricks erreichte der Spark Real-Time Mode bei zustandslosen (stateless) Workloads vergleichbare Werte wie Flink und wies eine geringere p99-Latenz bei zustandsbehafteten Aggregationen und Stream-Static-Joins auf. Der Benchmark-Code ist öffentlich, verwendet von Kunden abgeleitete Workloads zur Feature-Berechnung und läuft mit 10.000 Datensätzen pro Sekunde über 30 Minuten, wobei die Latenz vom Kafka-Eingang zum -Ausgang gemessen wird. Databricks fasste die Ergebnisse so zusammen, dass sie bis zu 92 % schneller als Flink sind.
| Workload | Spark Real-Time Mode p99 | Apache Flink p99 |
|---|---|---|
| Zustandslose Transformation (Stateless Transformation) | 3 ms | 3 ms |
| Zustandsbehaftete Aggregation (Stateful Aggregation) | 14 ms | 45 ms |
| Stream-Static-Join | 9 ms | 95 ms |
Hinweis zu diesen Zahlen: Databricks hat den Benchmark durchgeführt. Spark lief auf Databricks und Flink auf AWS Managed Service for Apache Flink 1.18. Die Ergebnisse vergleichen den schlechtesten Lauf von Spark mit dem besten Lauf von Flink. Betrachten Sie diese als Anhaltspunkte für diese Workload-Muster und testen Sie Ihre eigene Pipeline, bevor Sie eine Entscheidung treffen.
Produktionsergebnisse bestätigen dasselbe Bild. MakeMyTrip zog Flink in Betracht, entschied sich aber für den Spark Real-Time Mode, um eine zweite Engine zu vermeiden, und senkte die P50-Latenz auf 44 ms sowie die P99-Latenz von über einer Minute auf ca. 500 ms. Auch Coinbase und DraftKings betreiben den Real-Time Mode in der Produktion. Wie die Engine dies erreicht, lesen Sie in Breaking the microbatch barrier.
Sie ändern den Trigger. Der Real-Time Mode ist ein Trigger für eine bestehende Structured Streaming-Abfrage, sodass derselbe Code ohne Neuentwicklung zwischen Latenzstufen verschoben werden kann.
Der Real-Time Mode erfordert den Update Output Mode und liest aus sowie schreibt in Kafka oder eine zeilenbasierte Foreach-Senke. Zustandsbehaftete Operatoren sind im Open-Source-Bereich mit Apache Spark 4.3 verfügbar und heute auf Databricks allgemein verfügbar (Generally Available). Auf Databricks läuft er auf klassischem Compute oder in Lakeflow Spark Declarative Pipelines. In der Real-Time Mode Referenz finden Sie die vollständige Unterstützungstabelle.
Flink kann für eine kleine Gruppe spezieller Streaming-Workloads die bessere Wahl sein. Ziehen Sie es in Betracht, wenn die meisten der folgenden Punkte zutreffen:
Wenn der Stream auch Analysen, ML-Features oder Lakehouse-Tabellen speist, vermeidet Spark die Duplizierung von Logik, Betriebsabläufen und Governance über zwei Engines hinweg.
Jede zusätzliche Engine bringt eine zweite Codebasis, einen zweiten Satz an Fähigkeiten und einen zweiten Satz an Governance-Regeln mit sich. Teams, die Spark für Batch-Vorgänge mit Flink für Streaming kombinieren, schreiben oft dieselbe Geschäftslogik doppelt und müssen sich um die Abstimmung zwischen beiden kümmern.
Pipelines lassen sich auch deklarieren, statt sie manuell zu verknüpfen. Spark Declarative Pipelines verwalten Abhängigkeiten und inkrementelle Aktualisierungen für Streaming-Tabellen.
Databricks wurde von den ursprünglichen Entwicklern von Apache Spark gegründet und bietet den Echtzeitmodus als allgemein verfügbare Funktion an, einschließlich zustandsbehafteter Operatoren und transformWithState. Hinzu kommen Lakeflow Spark Declarative Pipelines, Unity Catalog-Governance und serverlose Pipelines. Für Open-Source-Spark geschriebener Code läuft unverändert auf Databricks. Folge zum Start dem Apache Spark-Tutorial: Echtzeitmodus.
In den veröffentlichten Benchmarks von Databricks erreichte der Spark-Echtzeitmodus bei zustandslosen Workloads die gleiche Leistung wie Flink und wies bei zustandsbehafteten Aggregationen sowie Stream-Static-Joins eine geringere p99-Latenz auf. Die Ergebnisse hängen von der jeweiligen Workload ab, teste daher am besten deine eigene Pipeline.
Nicht nur. Spark Structured Streaming verwendet standardmäßig Mikro-Batches, während der Echtzeitmodus Datensätze kontinuierlich mit Latenzen im Millisekundenbereich verarbeitet. Du wählst die Methode pro Abfrage über den Trigger aus.
Für die meisten Workloads nein. Der Echtzeitmodus bietet Spark-Latenzen im Millisekundenbereich auf demselben Engine, den du bereits für Batch, SQL und ML verwendest, sodass du nur ein System statt zweier betreiben musst.
Flink eignet sich gut für spezielle Workloads wie sehr große zustandsbehaftete Daten mit Schlüsseln, komplexe Ereignisverarbeitung oder für Teams, die bereits eine Flink-Plattform für eigenständige Streams betreiben.
Ja. Die Logik der meisten Flink SQL- und DataStream-Anwendungen lässt sich auf Spark SQL und DataFrames in Structured Streaming abbilden, und der Echtzeitmodus deckt den Pfad mit geringer Latenz ab. Starte mit zustandslosen und aggregierten Jobs und migriere dann die zustandsbehaftete Logik zu transformWithState.
Einstieg in den Echtzeitmodus auf Databricks
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Real-Time & Streaming Data, Benchmarks und Open Table Formats
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.