Direkt zum Hauptinhalt

Was ist strukturiertes Streaming?

Lernen Sie, wie Sie Echtzeitdaten mit denselben Spark-APIs verarbeiten, die Sie auch für die Stapelverarbeitung verwenden.

10 Personas Application Development
Data + AI GrundlagenWeniger als eine Minute

Summary

  • Verstehen Sie, was Structured Streaming ist und wie es eine High-Level-API für die Streamverarbeitung in Apache Spark bereitstellt.
  • Lernen Sie, wie Sie Batch-Jobs mit minimalen Codeänderungen in Streaming umwandeln, um Latenzzeiten zu reduzieren und inkrementelle Verarbeitung zu ermöglichen.
  • Erfahren Sie, wie Structured Streaming die Echtzeit-Datenverarbeitung vereinfacht, indem es die bekannten strukturierten Spark-APIs nutzt.

Structured Streaming ist eine High-Level-API für die Verarbeitung von Streams, die mit Spark 2.2 produktionsreif wurde. Mit Structured Streaming stehen Ihnen die Operationen, die Sie im Batch-Modus mithilfe der strukturierten Spark-APIs durchführen, im Streaming-Verfahren zur Verfügung. Das reduziert die Latenz und ermöglicht eine inkrementelle Verarbeitung. Der Clou an Structured Streaming ist, dass Sie damit praktisch ohne Codeänderungen schnell und einfach einen Mehrwert aus Streaming-Systemen generieren können. Außerdem können Sie Ihren Batch-Job als Prototyp schreiben und ihn dann in einen Streaming-Job umwandeln, was Prüfung und Optimierung vereinfacht. Die schrittweise Verarbeitung der betreffenden Daten macht es möglich.

5-FACHER LEADER

Gartner®: Databricks als Leader für Cloud-Datenbanken

Zusätzliche Ressourcen

Verpassen Sie keinen Beitrag von Databricks

Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.