Direkt zum Hauptinhalt

Was ist der Echtzeit-Modus in Apache Spark?

Wie der Real-Time Mode durch eine einzeilige Trigger-Änderung Millisekunden-Latenz in Spark Structured Streaming bringt und wann du ihn verwenden solltest.

von Databricks-Mitarbeiter

  • Databricks Real-Time Mode ist ein Spark Structured Streaming Trigger, der Datensätze bei ihrer Ankunft für eine Millisekunden-End-to-End-Latenz verarbeitet.
  • Du aktivierst ihn, indem du eine Trigger-Zeile änderst. Die Quelle, Transformationen und der Checkpoint bleiben gleich, sodass kein Umschreiben erforderlich ist.
  • Verwende ihn für Betrugserkennung, Personalisierung und KI-Funktionen in Echtzeit, bei denen Spark jetzt Latenzen abdeckt, für die früher Apache Flink erforderlich war.

Der Echtzeitmodus (Real-Time Mode) ist ein Auslöser für Apache Spark™ Structured Streaming, der jeden Datensatz sofort bei dessen Eintreffen verarbeitet, anstatt auf den nächsten Mikro-Batch zu warten. Er reduziert die Ende-zu-Ende-Latenz von Spark Streaming von Sekunden auf Millisekunden – auf derselben Engine und mit denselben APIs, die Sie bereits für Batch- und Mikro-Batch-Streaming nutzen.

Vor dem Echtzeitmodus mussten Teams, die Antworten im Subsekundenbereich benötigten, oft eine zweite, rein auf Streams ausgelegte Engine hinzufügen. Der Echtzeitmodus macht diese Anforderung für die meisten Workloads überflüssig. Sie ändern einfach den Trigger für eine bestehende Abfrage, und Spark führt sie kontinuierlich aus.

Wie funktioniert der Echtzeitmodus?

Der Echtzeitmodus ersetzt die Mikro-Batch-Planung durch lang laufende Tasks, die kontinuierlich Daten lesen und verarbeiten. Eine Mikro-Batch-Abfrage wartet auf eine Batch-Grenze, plant Tasks und führt einen blockierenden Shuffle zwischen den Stages durch, was eine Latenzuntergrenze von etwa einer Sekunde zur Folge hat. Der Echtzeitmodus beseitigt diesen Overhead durch drei Änderungen, die ausführlich unter Breaking the microbatch barrier: the architecture of Apache Spark Real-Time Mode erläutert werden.

Diagramm der drei Innovationen des Echtzeitmodus: kontinuierlicher Datenfluss, Pipeline-Planung aller Stages auf einmal und ein nicht blockierendes Streaming-Shuffle zwischen den Stages.
Abbildung 1. Der Echtzeitmodus kombiniert kontinuierlichen Datenfluss, Pipeline-Planung und ein Streaming-Shuffle, sodass sich Datensätze von der Quelle zur Senke bewegen, ohne auf Batch-Grenzen zu warten.
Zeitstrahl, der die Ausführung von Spark-Mikro-Batches mit Pausen zwischen den Batches mit dem Echtzeitmodus vergleicht, bei dem lang laufende Tasks Datensätze kontinuierlich zwischen Checkpoints verarbeiten.
Abbildung 2. Der Mikro-Batch wartet auf Batch-Grenzen und blockierende Shuffles. Der Echtzeitmodus führt Stages kontinuierlich aus und erstellt Checkpoints im Hintergrund.

Das Trigger-Intervall steuert, wie oft Spark einen Checkpoint fest schreibt (Commits) und den Fortschritt meldet. Es steuert nicht, wie lange ein Datensatz wartet. Datensätze fließen währenddessen ununterbrochen durch den lang laufenden Task, und Checkpoints werden im Hintergrund festgeschrieben.

Wie aktiviere ich den Echtzeitmodus?

Ändern Sie den Trigger einer Structured-Streaming-Abfrage zu realTime und setzen Sie den Ausgabemodus auf update. Der Rest der Abfrage bleibt unverändert.

Das minimale Trigger-Intervall beträgt 5 Sekunden; fünf Minuten sind eine gängige Einstellung für die Produktion. Aktivieren Sie den Echtzeitmodus auf Databricks auf klassischem Compute mit Databricks Runtime 16.4 LTS oder höher, bei dem Photon, Autoscaling und Spot-Instanzen deaktiviert sind, und setzen Sie spark.databricks.streaming.realTimeMode.enabled auf true. Sie können ihn auch auf Serverless Compute innerhalb von Lakeflow Spark Declarative Pipelines im kontinuierlichen Modus ausführen.

Dimensionieren Sie jede Stage auf einmal. Da alle Stages gleichzeitig laufen, benötigt der Cluster für jeden Task in der Abfrage einen Task-Slot. Eine Kafka-Quelle mit 8 Partitionen plus einem Shuffle mit 20 Partitionen erfordert 28 Slots.

Was wird im Echtzeitmodus unterstützt?

Der Echtzeitmodus unterstützt Kafka-basierte Quellen und Senken, zeilenbasierte foreach-Senken und die meisten Streaming-Operatoren, einschließlich zustandsbehafteter Operatoren. Diese Tabelle fasst die derzeitige Unterstützung auf Databricks zusammen. Die vollständige Liste finden Sie in der Referenz zum Echtzeitmodus.

BereichUnterstütztNicht unterstützt
QuellenApache Kafka, AWS MSK, Amazon Kinesis, Event Hubs über den Kafka-KonnektorDelta-Tabellen als Quelle
SenkenKafka, foreach (ForeachWriter)Delta-Tabellen, foreachBatch
AusgabemodusUpdateAppend, Complete
Zustandslose OperatorenProjections, Filter, UDFs, Stream-Static-JoinsKeine nennenswerten
Zustandsbehaftete OperatorenAggregationen, Tumbling- und Sliding-Windows, Deduplizierung, transformWithState (zeilenbasiert)Session-Windows, transformWithStateInPandas, Event-Time-Timer
Compute (Databricks)Klassisches Compute, Lakeflow Pipelines auf klassischem oder Serverless ComputeServerless Notebooks und Jobs, Free Edition

Tabelle 1. Unterstützung des Echtzeitmodus auf Databricks. Quelle: Databricks-Referenz zum Echtzeitmodus.

Um die Ergebnisse des Echtzeitmodus in einer Delta-Tabelle zu speichern, schreiben Sie sie in Kafka und führen Sie eine separate Mikro-Batch-Abfrage von Kafka nach Delta aus.

Welche Spark-Version unterstützt den Echtzeitmodus?

Der Echtzeitmodus ist auf Databricks allgemein verfügbar (GA) und wird schrittweise für Open-Source-Releases von Apache Spark eingeführt. Auf Databricks ist er seit dem 19. März 2026 allgemein verfügbar, einschließlich zustandsbehafteter Operatoren und transformWithState.

ReleaseNeuerungen
Apache Spark 4.1Echtzeitmodus für zustandslose Scala-Abfragen
Apache Spark 4.2PySpark-Echtzeitmodus-Trigger
Apache Spark 4.3Zustandsbehaftete Operatoren: Aggregation, Deduplizierung und transformWithState
Databricks (GA, März 2026)Zustandslose und zustandsbehaftete Abfragen, Laden des initialen Zustands, Unterstützung für Lakeflow Pipelines

Tabelle 2. Verfügbarkeit des Echtzeitmodus. Quellen: Spark 4.1.0 Release Notes, Apache Spark Real-Time Mode Docs.

Wie schnell ist der Echtzeitmodus?

Der Echtzeitmodus erreicht in veröffentlichten Benchmarks Latenzen im einstelligen Millisekundenbereich für zustandslose Abfragen und ca. 140 ms (p99) für zustandsbehaftete Abfragen. Die tatsächliche Latenz hängt von der Quelle, den Operatoren, der Größe des Zustands, der Senke und der Cluster-Kapazität ab.

WorkloadVeröffentlichte p99-LatenzQuelle
Zustandslose Transformation3 msDatabricks-Latenz-Benchmark
Stream-Static-Join9 msDatabricks-Latenz-Benchmark
Zustandsbehaftete Aggregation (Merkmalsberechnung)14 msDatabricks-Latenz-Benchmark
dropDuplicates136 msDatabricks-Zustands-Benchmark
Fensteraggregation139 msDatabricks-Zustands-Benchmark
transformWithState141 msDatabricks-Zustands-Benchmark

Tabelle 3. Veröffentlichte Latenzergebnisse des Echtzeitmodus. Quellen: latency-benchmarks Repository und das Echtzeitmodus-Tutorial.

Verwenden Sie zur Überwachung einer laufenden Abfrage die Latenzmetriken des Echtzeitmodus und nicht die Batch-Dauer. Metriken zur Batch-Dauer spiegeln nicht die Ende-zu-Ende-Latenz wider, und die gemeldete Ende-zu-Ende-Metrik schließt die Schreibzeit der Senke aus. Lesen Sie hierzu Optimieren und Überwachen der Leistung im Echtzeitmodus.

In der Produktion hat MakeMyTrip die P50-Latenz von ca. 1,23 Sekunden auf 44 ms und die P99-Latenz von über einer Minute auf ca. 500 ms gesenkt, was zu einer Steigerung der Klickrate um 7 % führte.

Balkendiagramm, das zeigt, wie die P50-Latenz von MakeMyTrip bei Verwendung des Spark-Echtzeitmodus von ca. 1,23 Sekunden auf 44 ms und die P99-Latenz von über einer Minute auf ca. 500 ms sinkt.
Abbildung 3. MakeMyTrip hat die P50-Latenz nach Einführung des Echtzeitmodus von ca. 1,23 Sekunden auf 44 ms und die P99-Latenz von über einer Minute auf ca. 500 ms reduziert.
Bericht

Das Playbook für agentenbasierte KI für Unternehmen

Wie verwende ich den Zustand im Echtzeitmodus?

Verwende die standardmäßigen Streaming-Operatoren für Aggregation und Deduplizierung sowie transformWithState für benutzerdefinierte Logik pro Schlüssel. Der Status befindet sich innerhalb des langlebigen Tasks, sodass zustandsbezogene Arbeit auf dem Pfad mit niedriger Latenz bleibt. Setze ein Watermark, damit Spark alten Status freigeben kann.

Für benutzerdefinierte zustandsbezogene Logik in Python verwendest du die zeilenbasierte transformWithState API, die Databricks Runtime 17.3 LTS oder neuer erfordert. Die Pandas-Variante transformWithStateInPandas wird im Real-Time Mode nicht unterstützt. Siehe Build a custom stateful application.

Wann sollte ich den Real-Time Mode verwenden?

Verwende den Real-Time Mode, wenn die geschäftliche Aktion innerhalb einer Sekunde erfolgen muss, und einen günstigeren Trigger, wenn das nicht der Fall ist. Der Real-Time Mode läuft kontinuierlich auf dedizierten Compute-Ressourcen, daher sind die Kosten konstant.

  • Betrugs- und Risikobewertung. DraftKings nutzt den Real-Time Mode mit transformWithState zur Betrugserkennung bei Live-Sportwetten.
  • Personalisierung und Empfehlungen. MakeMyTrip liefert personalisierte Hotel-Ergebnisse mit einer P50-Latenz von 44 ms.
  • Echtzeit-KI-Funktionen und Agenten-Kontext. Dieselbe Pipeline berechnet Features für das Modelltraining sowie für die Online-Inferenz und versorgt KI-Agenten stets mit den neuesten Ereignissen.
  • Operationelle Warnungen und IoT-Überwachung. Sensor- und Sicherheitssignale lösen Aktionen in Millisekunden aus.

Wenn Sekunden oder Minuten akzeptabel sind, ist Micro-Batch oder der availableNow-Trigger die bessere und kostengünstigere Wahl. Da der Code derselbe ist, kannst du mit einem günstigeren Trigger beginnen und später wechseln.

Ist der Real-Time Mode eine Alternative zu Apache Flink?

Ja, für die meisten Workloads. Der Real-Time Mode verleiht Spark die Millisekunden-Latenz, die Apache Flink einst zum Standard für operationelles Streaming gemacht hat, während gleichzeitig eine einzige Engine für Batch, SQL und Machine Learning erhalten bleibt. Im Databricks-Benchmark lieferte der Real-Time Mode bei zustandslosen Arbeiten ähnliche Ergebnisse wie Flink und wies bei zustandsbehafteten Aggregationen und Stream-Static-Joins eine geringere P99-Latenz auf, was Databricks als bis zu 92 % schneller zusammenfasste. Einen vollständigen Vergleich findest du unter Apache Spark vs Apache Flink.

Real-Time Mode auf Databricks

Databricks wurde von den ursprünglichen Entwicklern von Apache Spark gegründet und stellt den Real-Time Mode als allgemein verfügbares Feature bereit. Zusätzlich zum Open-Source-Spark bietet es folgende Erweiterungen:

  • Zustandsbehafteter Real-Time Mode ab sofort: Aggregationen, Deduplizierung und transformWithState mit initialem Laden des Status
  • Lakeflow Spark Declarative Pipelines: Echtzeit-Datenflüsse auf klassischem oder serverless Compute
  • Unity Catalog: Governance und Lineage für Echtzeit- und Batch-Tabellen

Code, der für Open-Source-Spark geschrieben wurde, läuft unverändert auf Databricks. Um ihn auszuprobieren, folge dem Apache Spark-Tutorial: Real-Time Mode.

Häufig gestellte Fragen

Was ist der Real-Time Mode in Spark?

Der Databricks Real-Time Mode ist ein Structured Streaming-Trigger, der Datensätze kontinuierlich bei ihrem Eintreffen verarbeitet, statt sie in Micro-Batches zusammenzufassen. Er verkürzt die Spark-Streaming-Latenz von Ende zu Ende auf Millisekunden, ohne dass der Code umgeschrieben werden muss.

Ist der Real-Time Mode dasselbe wie kontinuierliche Verarbeitung?

Nein. Die kontinuierliche Verarbeitung war ein früherer experimenteller Modus mit eingeschränkter Operator-Unterstützung. Der Real-Time Mode ist ein neues Design mit langlebigen Tasks, Pipeline-Scheduling sowie einem Streaming-Shuffle und unterstützt zustandsbehaftete Operatoren.

Unterstützt der Real-Time Mode zustandsbehaftete Operationen?

Ja. Auf Databricks unterstützt der Databricks Real-Time Mode ab sofort Aggregationen, Deduplizierung und transformWithState. Im Open-Source-Projekt Apache Spark ist die Unterstützung für zustandsbehaftete Operationen ab Spark 4.3 verfügbar.

Kann der Real-Time Mode in Delta Lake schreiben?

Nicht direkt. Der Real-Time Mode schreibt in Kafka oder eine foreach-Senke. Um Ergebnisse in einer Delta-Tabelle zu speichern, führst du eine separate Micro-Batch-Abfrage von Kafka zu Delta aus.

Läuft der Real-Time Mode auf serverless oder der Free Edition?

Der Databricks Real-Time Mode läuft auf klassischem Compute und in Lakeflow Spark Declarative Pipelines, einschließlich serverless Pipelines. Er läuft nicht in serverless Notebooks oder Jobs und ist daher nicht in den Notebooks der Databricks Free Edition verfügbar.

Mit dem Real-Time Mode auf Databricks starten

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag

Erhalten Sie die neuesten Beiträge in Ihrem Posteingang

Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.