Direkt zum Hauptinhalt

Echtzeit-Mode in Apache Spark Structured Streaming

Verarbeiten Sie Daten in Millisekunden auf Spark-APIs, ohne eine spezialisierte zweite Engine warten zu müssen

Data pipeline running 2 Kafka sinks, 404K records.

Verarbeiten Sie Streaming-Daten in Millisekunden auf Serverless compute

Der Echtzeitmodus (RTM) bietet eine Latenz im Millisekundenbereich mit vertrauten Spark-APIs, wodurch separate Engines wie Apache Flink überflüssig werden. Durch die Unterstützung der kontinuierlichen Verarbeitung erreicht der RTM eine Latenz von nur 5 ms für zeitkritische Workloads. Die native Integration in Apache Spark™ Declarative Pipelines stellt sicher, dass Datenteams eine extreme Performance erzielen und die Vorteile vollständig verwalteter Dienste nutzen, einschließlich einer versionslosen Ausführung, automatisierter Infrastruktur-Upgrades und einer Wartung mit geringer bis gar keiner Ausfallzeit.

Erschließen Sie operative Workloads mit einer einheitlichen Ausführungs-Engine

Minimize logic drift and codebase duplication

Minimieren Sie Logik-Drift und die Duplizierung der Codebasis

Verwenden Sie dieselbe Spark-API für umfangreiches Batch-Training und Echtzeit-Inferenz mit ultraniedriger Latenz. RTM ermöglicht eine nahtlose Skalierbarkeit, sodass Sie Pipeline mit einer einzigen Codeänderung von stündlichen Batch auf kontinuierliches Streaming umstellen und vollständig auf komplexe Dual-Engine-Architekturen verzichten können.

Spark RTM mostly has lower latency than Flink.

Verarbeiten Sie Ereignisse bis zu 92 % schneller als Flink

RTM ist für Entscheidungsfindungen im Subsekundenbereich ausgelegt und entfaltet seine Wirkung in Anwendungsfällen wie der Live-Betrugserkennung und der Echtzeit-Personalisierung. Durch kontinuierlichen Datenfluss, Pipeline-Scheduling und Streaming-Shuffles erreicht RTM bei anspruchsvollen operativen Workloads strikte P99-Latenzen zwischen 40 ms und 300 ms.

TIEFER EINTAUCHEN

Mehr über den Echtzeit Mode erfahren

Verwandte Produkte

Mehr entdecken

Entdecken Sie weitere integrierte, intelligente Angebote auf der Data Intelligence Platform.

Deklarative Pipelines für Apache Spark™

Vereinfachen Sie Batch- und Streaming-ETL mit automatisierter Datenqualität, Change Data Capture (CDC), Datenaufnahme, Transformation und einheitlicher Governance.

Genie Code

Erstellen und warten Sie Datenpipelines mit einer agentischen KI, die Ihre Daten wirklich versteht.

Zerobus Ingest

Übertragen Sie Ereignisdaten direkt und nahezu in Echtzeit per Push in Ihr Lakehouse. Die Direct-Write-API reduziert Ihren Betriebsaufwand durch hohen Durchsatz und hohe Leistung bei der Skalierung.

Unity Catalog

Regulieren Sie alle Ihre Datenressourcen nahtlos mit der branchenweit einzigen einheitlichen und offenen Governance-Lösung für Daten und KI, die in die Data Intelligence Platform von Databricks integriert ist.

Möchten Sie ein Daten- und
KI-Unternehmen werden?

Machen Sie die ersten Schritte Ihrer Transformation