Wie der Real-Time Mode durch eine einzeilige Trigger-Änderung Millisekunden-Latenz in Spark Structured Streaming bringt und wann du ihn verwenden solltest.
Der Echtzeitmodus (Real-Time Mode) ist ein Auslöser für Apache Spark™ Structured Streaming, der jeden Datensatz sofort bei dessen Eintreffen verarbeitet, anstatt auf den nächsten Mikro-Batch zu warten. Er reduziert die Ende-zu-Ende-Latenz von Spark Streaming von Sekunden auf Millisekunden – auf derselben Engine und mit denselben APIs, die Sie bereits für Batch- und Mikro-Batch-Streaming nutzen.
Vor dem Echtzeitmodus mussten Teams, die Antworten im Subsekundenbereich benötigten, oft eine zweite, rein auf Streams ausgelegte Engine hinzufügen. Der Echtzeitmodus macht diese Anforderung für die meisten Workloads überflüssig. Sie ändern einfach den Trigger für eine bestehende Abfrage, und Spark führt sie kontinuierlich aus.
Der Echtzeitmodus ersetzt die Mikro-Batch-Planung durch lang laufende Tasks, die kontinuierlich Daten lesen und verarbeiten. Eine Mikro-Batch-Abfrage wartet auf eine Batch-Grenze, plant Tasks und führt einen blockierenden Shuffle zwischen den Stages durch, was eine Latenzuntergrenze von etwa einer Sekunde zur Folge hat. Der Echtzeitmodus beseitigt diesen Overhead durch drei Änderungen, die ausführlich unter Breaking the microbatch barrier: the architecture of Apache Spark Real-Time Mode erläutert werden.
Das Trigger-Intervall steuert, wie oft Spark einen Checkpoint fest schreibt (Commits) und den Fortschritt meldet. Es steuert nicht, wie lange ein Datensatz wartet. Datensätze fließen währenddessen ununterbrochen durch den lang laufenden Task, und Checkpoints werden im Hintergrund festgeschrieben.
Ändern Sie den Trigger einer Structured-Streaming-Abfrage zu realTime und setzen Sie den Ausgabemodus auf update. Der Rest der Abfrage bleibt unverändert.
Das minimale Trigger-Intervall beträgt 5 Sekunden; fünf Minuten sind eine gängige Einstellung für die Produktion. Aktivieren Sie den Echtzeitmodus auf Databricks auf klassischem Compute mit Databricks Runtime 16.4 LTS oder höher, bei dem Photon, Autoscaling und Spot-Instanzen deaktiviert sind, und setzen Sie spark.databricks.streaming.realTimeMode.enabled auf true. Sie können ihn auch auf Serverless Compute innerhalb von Lakeflow Spark Declarative Pipelines im kontinuierlichen Modus ausführen.
Dimensionieren Sie jede Stage auf einmal. Da alle Stages gleichzeitig laufen, benötigt der Cluster für jeden Task in der Abfrage einen Task-Slot. Eine Kafka-Quelle mit 8 Partitionen plus einem Shuffle mit 20 Partitionen erfordert 28 Slots.
Der Echtzeitmodus unterstützt Kafka-basierte Quellen und Senken, zeilenbasierte foreach-Senken und die meisten Streaming-Operatoren, einschließlich zustandsbehafteter Operatoren. Diese Tabelle fasst die derzeitige Unterstützung auf Databricks zusammen. Die vollständige Liste finden Sie in der Referenz zum Echtzeitmodus.
| Bereich | Unterstützt | Nicht unterstützt |
|---|---|---|
| Quellen | Apache Kafka, AWS MSK, Amazon Kinesis, Event Hubs über den Kafka-Konnektor | Delta-Tabellen als Quelle |
| Senken | Kafka, foreach (ForeachWriter) | Delta-Tabellen, foreachBatch |
| Ausgabemodus | Update | Append, Complete |
| Zustandslose Operatoren | Projections, Filter, UDFs, Stream-Static-Joins | Keine nennenswerten |
| Zustandsbehaftete Operatoren | Aggregationen, Tumbling- und Sliding-Windows, Deduplizierung, transformWithState (zeilenbasiert) | Session-Windows, transformWithStateInPandas, Event-Time-Timer |
| Compute (Databricks) | Klassisches Compute, Lakeflow Pipelines auf klassischem oder Serverless Compute | Serverless Notebooks und Jobs, Free Edition |
Tabelle 1. Unterstützung des Echtzeitmodus auf Databricks. Quelle: Databricks-Referenz zum Echtzeitmodus.
Um die Ergebnisse des Echtzeitmodus in einer Delta-Tabelle zu speichern, schreiben Sie sie in Kafka und führen Sie eine separate Mikro-Batch-Abfrage von Kafka nach Delta aus.
Der Echtzeitmodus ist auf Databricks allgemein verfügbar (GA) und wird schrittweise für Open-Source-Releases von Apache Spark eingeführt. Auf Databricks ist er seit dem 19. März 2026 allgemein verfügbar, einschließlich zustandsbehafteter Operatoren und transformWithState.
| Release | Neuerungen |
|---|---|
| Apache Spark 4.1 | Echtzeitmodus für zustandslose Scala-Abfragen |
| Apache Spark 4.2 | PySpark-Echtzeitmodus-Trigger |
| Apache Spark 4.3 | Zustandsbehaftete Operatoren: Aggregation, Deduplizierung und transformWithState |
| Databricks (GA, März 2026) | Zustandslose und zustandsbehaftete Abfragen, Laden des initialen Zustands, Unterstützung für Lakeflow Pipelines |
Tabelle 2. Verfügbarkeit des Echtzeitmodus. Quellen: Spark 4.1.0 Release Notes, Apache Spark Real-Time Mode Docs.
Der Echtzeitmodus erreicht in veröffentlichten Benchmarks Latenzen im einstelligen Millisekundenbereich für zustandslose Abfragen und ca. 140 ms (p99) für zustandsbehaftete Abfragen. Die tatsächliche Latenz hängt von der Quelle, den Operatoren, der Größe des Zustands, der Senke und der Cluster-Kapazität ab.
| Workload | Veröffentlichte p99-Latenz | Quelle |
|---|---|---|
| Zustandslose Transformation | 3 ms | Databricks-Latenz-Benchmark |
| Stream-Static-Join | 9 ms | Databricks-Latenz-Benchmark |
| Zustandsbehaftete Aggregation (Merkmalsberechnung) | 14 ms | Databricks-Latenz-Benchmark |
| dropDuplicates | 136 ms | Databricks-Zustands-Benchmark |
| Fensteraggregation | 139 ms | Databricks-Zustands-Benchmark |
| transformWithState | 141 ms | Databricks-Zustands-Benchmark |
Tabelle 3. Veröffentlichte Latenzergebnisse des Echtzeitmodus. Quellen: latency-benchmarks Repository und das Echtzeitmodus-Tutorial.
Verwenden Sie zur Überwachung einer laufenden Abfrage die Latenzmetriken des Echtzeitmodus und nicht die Batch-Dauer. Metriken zur Batch-Dauer spiegeln nicht die Ende-zu-Ende-Latenz wider, und die gemeldete Ende-zu-Ende-Metrik schließt die Schreibzeit der Senke aus. Lesen Sie hierzu Optimieren und Überwachen der Leistung im Echtzeitmodus.
In der Produktion hat MakeMyTrip die P50-Latenz von ca. 1,23 Sekunden auf 44 ms und die P99-Latenz von über einer Minute auf ca. 500 ms gesenkt, was zu einer Steigerung der Klickrate um 7 % führte.
Verwende die standardmäßigen Streaming-Operatoren für Aggregation und Deduplizierung sowie transformWithState für benutzerdefinierte Logik pro Schlüssel. Der Status befindet sich innerhalb des langlebigen Tasks, sodass zustandsbezogene Arbeit auf dem Pfad mit niedriger Latenz bleibt. Setze ein Watermark, damit Spark alten Status freigeben kann.
Für benutzerdefinierte zustandsbezogene Logik in Python verwendest du die zeilenbasierte transformWithState API, die Databricks Runtime 17.3 LTS oder neuer erfordert. Die Pandas-Variante transformWithStateInPandas wird im Real-Time Mode nicht unterstützt. Siehe Build a custom stateful application.
Verwende den Real-Time Mode, wenn die geschäftliche Aktion innerhalb einer Sekunde erfolgen muss, und einen günstigeren Trigger, wenn das nicht der Fall ist. Der Real-Time Mode läuft kontinuierlich auf dedizierten Compute-Ressourcen, daher sind die Kosten konstant.
Wenn Sekunden oder Minuten akzeptabel sind, ist Micro-Batch oder der availableNow-Trigger die bessere und kostengünstigere Wahl. Da der Code derselbe ist, kannst du mit einem günstigeren Trigger beginnen und später wechseln.
Ja, für die meisten Workloads. Der Real-Time Mode verleiht Spark die Millisekunden-Latenz, die Apache Flink einst zum Standard für operationelles Streaming gemacht hat, während gleichzeitig eine einzige Engine für Batch, SQL und Machine Learning erhalten bleibt. Im Databricks-Benchmark lieferte der Real-Time Mode bei zustandslosen Arbeiten ähnliche Ergebnisse wie Flink und wies bei zustandsbehafteten Aggregationen und Stream-Static-Joins eine geringere P99-Latenz auf, was Databricks als bis zu 92 % schneller zusammenfasste. Einen vollständigen Vergleich findest du unter Apache Spark vs Apache Flink.
Databricks wurde von den ursprünglichen Entwicklern von Apache Spark gegründet und stellt den Real-Time Mode als allgemein verfügbares Feature bereit. Zusätzlich zum Open-Source-Spark bietet es folgende Erweiterungen:
Code, der für Open-Source-Spark geschrieben wurde, läuft unverändert auf Databricks. Um ihn auszuprobieren, folge dem Apache Spark-Tutorial: Real-Time Mode.
Der Databricks Real-Time Mode ist ein Structured Streaming-Trigger, der Datensätze kontinuierlich bei ihrem Eintreffen verarbeitet, statt sie in Micro-Batches zusammenzufassen. Er verkürzt die Spark-Streaming-Latenz von Ende zu Ende auf Millisekunden, ohne dass der Code umgeschrieben werden muss.
Nein. Die kontinuierliche Verarbeitung war ein früherer experimenteller Modus mit eingeschränkter Operator-Unterstützung. Der Real-Time Mode ist ein neues Design mit langlebigen Tasks, Pipeline-Scheduling sowie einem Streaming-Shuffle und unterstützt zustandsbehaftete Operatoren.
Ja. Auf Databricks unterstützt der Databricks Real-Time Mode ab sofort Aggregationen, Deduplizierung und transformWithState. Im Open-Source-Projekt Apache Spark ist die Unterstützung für zustandsbehaftete Operationen ab Spark 4.3 verfügbar.
Nicht direkt. Der Real-Time Mode schreibt in Kafka oder eine foreach-Senke. Um Ergebnisse in einer Delta-Tabelle zu speichern, führst du eine separate Micro-Batch-Abfrage von Kafka zu Delta aus.
Der Databricks Real-Time Mode läuft auf klassischem Compute und in Lakeflow Spark Declarative Pipelines, einschließlich serverless Pipelines. Er läuft nicht in serverless Notebooks oder Jobs und ist daher nicht in den Notebooks der Databricks Free Edition verfügbar.
Mit dem Real-Time Mode auf Databricks starten
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.