Was ist strukturiertes Streaming?
Lernen Sie, wie Sie Echtzeitdaten mit denselben Spark-APIs verarbeiten, die Sie auch für die Stapelverarbeitung verwenden.
Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
- Verstehen Sie, was Structured Streaming ist und wie es eine High-Level-API für die Streamverarbeitung in Apache Spark bereitstellt.
- Lernen Sie, wie Sie Batch-Jobs mit minimalen Codeänderungen in Streaming umwandeln, um Latenzzeiten zu reduzieren und inkrementelle Verarbeitung zu ermöglichen.
- Erfahren Sie, wie Structured Streaming die Echtzeit-Datenverarbeitung vereinfacht, indem es die bekannten strukturierten Spark-APIs nutzt.
Structured Streaming ist eine High-Level-API für die Verarbeitung von Streams, die mit Spark 2.2 produktionsreif wurde. Mit Structured Streaming stehen Ihnen die Operationen, die Sie im Batch-Modus mithilfe der strukturierten Spark-APIs durchführen, im Streaming-Verfahren zur Verfügung. Das reduziert die Latenz und ermöglicht eine inkrementelle Verarbeitung. Der Clou an Structured Streaming ist, dass Sie damit praktisch ohne Codeänderungen schnell und einfach einen Mehrwert aus Streaming-Systemen generieren können. Außerdem können Sie Ihren Batch-Job als Prototyp schreiben und ihn dann in einen Streaming-Job umwandeln, was Prüfung und Optimierung vereinfacht. Die schrittweise Verarbeitung der betreffenden Daten macht es möglich.
Das Playbook für agentenbasierte KI für Unternehmen
Erhalten Sie die neuesten Beiträge in Ihrem Posteingang
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.