Real-Time Mode in Apache Spark™ Structured Streaming
Verarbeiten Sie Daten in Millisekunden – 100-mal schneller als Spark-Micro-Batching und ohne eine zweite Engine
Streaming-Daten in Millisekunden auf Serverless Compute verarbeiten
Der Real-Time Mode (RTM) bietet für operative Workloads eine bis zu 100-mal geringere Latenz als der Spark-Micro-Batch-Modus. Dadurch werden separate Engines wie Apache Flink überflüssig. Durch die Unterstützung von Continuous Processing senkt RTM die End-to-End-Latenz bei zeitkritischen Workloads auf bis zu 5 ms. Dank der nativen Integration in Apache Spark™ Declarative Pipelines erzielen Datenteams maximale Performance und nutzen die Vorteile voll verwalteter Services – darunter versionslose Ausführung, automatisierte Infrastruktur-Upgrades und Wartungsarbeiten nahezu ohne Ausfallzeiten.
Operative Workloads mit einer einheitlichen Execution Engine optimieren
Logic Drift und Duplizierung von Codebasen minimieren
Nutzen Sie dieselbe Spark-API für umfangreiches Batch-Training und Real-Time Inference mit extrem geringer Latenz. RTM ermöglicht nahtlose Skalierbarkeit: Stellen Sie Pipelines mit einer einzigen Codeänderung von stündlichen Batches auf kontinuierliches Streaming um – ganz ohne komplexe Dual-Engine-Architekturen.
Ereignisse bis zu 92 % schneller verarbeiten als mit Flink
RTM ist für Entscheidungen im Subsekundenbereich konzipiert und liefert klare Vorteile in Anwendungsfällen wie Echtzeit-Betrugserkennung und Echtzeit-Personalisierung. Durch kontinuierlichen Datenfluss, Pipeline-Scheduling und Streaming Shuffles erzielt RTM bei anspruchsvollen operativen Workloads strikte P99-Latenzen zwischen 40 ms und 300 ms.
Bis zu 100-mal geringere Latenz als bei Micro-Batching
Wechseln Sie mit einer einzigen Konfigurationszeile von minutenschnellem ETL zu operativem Streaming im Millisekundenbereich. Für unterstützte Workloads bietet RTM eine bis zu 100-mal geringere Latenz als Standard-Micro-Batching, sodass Sie Anwendungen innerhalb desselben Spark-Ökosystems betreiben können.
Mehr über den Real-Time Mode erfahren
Mehr entdecken
Entdecken Sie weitere integrierte, intelligente Angebote auf der Databricks Data + AI Platform.
Apache Spark™ Declarative Pipelines
Vereinfachen Sie Batch- und Streaming-ETL mit automatisierter Datenqualität, Change Data Capture (CDC), Datenerfassung, Transformation und einheitlicher Governance.
Genie Code
Erstellen und warten Sie Daten-Pipelines mit agentischer KI, die Ihre Daten versteht.
Zerobus Ingest
Senden Sie Ereignisdaten nahezu in Echtzeit direkt an Ihr Lakehouse. Die Direct-Write-API reduziert den operativen Aufwand mit hohem Durchsatz und hoher Performance im großen Maßstab.
Unity Catalog
Verwalten Sie nahtlos all Ihre Datenbestände mit der branchenweit einzigen einheitlichen und offenen Governance-Lösung für Daten und KI, die direkt in die Databricks Data + AI Platform integriert ist.
Der nächste Schritt
Erste Schritte mit dem Real-Time Mode
Sehen Sie sich ein kurzes Video an und erfahren Sie, wie der Real-Time Mode geschäftskritische Anwendungen mit Latenzen im Subsekundenbereich unterstützt.
Tutorial: Ausführen eines Echtzeit-Streaming-Workloads
Erfahren Sie, wie Sie Echtzeit-Streaming-Abfragen in Databricks mit einer End-to-End-Latenz von nur 5 ms ausführen.
Häufig gestellte Fragen (FAQ) zum Real-Time Mode (RTM)
Der Real-Time Mode ist eine Weiterentwicklung von Apache Spark Structured Streaming, die eine 100-mal geringere Latenz als die Micro-Batch-Ausführung von Spark bietet.
Durch die Nutzung von Pipeline-Scheduling zur parallelen Ausführung von Abfragephasen und Streaming Shuffles zur sofortigen Datenübertragung zwischen Aufgaben werden Latenz-Engpässe beseitigt.
Diese Architektur bietet für unterstützte operative Streaming-Workloads eine bis zu 100-mal geringere Latenz als der Spark-Micro-Batch-Modus und reduziert die Verarbeitungszeit von Sekunden auf Millisekunden mit einer End-to-End-Latenz von nur 5 Millisekunden.
Bereit, ein Data + AI-Unternehmen zu werden?
Machen Sie die ersten Schritte Ihrer Transformation