Lakeflow: Einheitliches agentisches Data Engineering

Eine Datenpipeline bezeichnet normalerweise einen mehrstufigen Prozess des Verschiebens und Verarbeitens von Daten. Data Pipelines sind der Schlüssel zum Data Engineering. Mit ihnen werden Daten aus einer Datenquelle erfasst, bereinigt, verändert, angereichert und nutzbar gemacht. Daher sind Datenpipelines Bestandteil fast jeder Analyse- oder KI-Initiative. Datenpipelines können einfach oder komplex sein und müssen oft verschiedene Datentypen (z. B. strukturierte oder unstrukturierte Daten) teils auch in Echtzeit verarbeiten. Außerdem müssen sie skalierbar sein, um auch größte Datenmengen verarbeiten zu können.

Daten-Streaming bezeichnet Daten, die in Echtzeit generiert und oft in Form von Datenströmen organisiert und genutzt werden. Heutzutage werden immer mehr Daten in Echtzeit von Sensoren, Websites, mobilen Anwendungen usw. generiert. Unternehmen, die Daten-Streams für die Implementierung von Lösungen wie Echtzeitanalysen nutzen möchten, stellen oft fest, dass die effiziente Verwaltung und Verarbeitung von Datenströmen schwierig sein kann. Deshalb setzen viele Kunden von Databricks auf die Data + AI Platform, die integrierte Streaming-Funktionen bietet, die die Streaming-Verarbeitung einfach, effizient und hochgradig skalierbar machen.

Databricks bietet eine leistungsstarke, einheitliche Data Engineering-Engine durch Lakeflow, die alles von der Aufnahme, Transformation und Orchestrierung in großem Maßstab abwickelt. Zu den Kernfunktionen gehören die Datenaufnahme aus einer Vielzahl von Quellen mit Lakeflow Connect, die Entwicklung und Verwaltung von Datenpipelines mit Lakeflow Spark Declarative Pipelines und die Orchestrierung von Workflows mit Lakeflow Jobs. Diese Fähigkeiten sind nicht allein Data Engineers vorbehalten: Ebenso können SQL-Anwender und Benutzer ohne technische Vorkenntnisse über Oberflächen wie den Databricks SQL-Editor und Lakeflow Designer auf dieselbe Engine zugreifen – sei es mittels SQL, natürlicher Sprache oder visueller Workflows – und so gleichermaßen von der Performance, Automatisierung und Zuverlässigkeit der zugrunde liegenden Plattform profitieren. Mit Genie Code können Teams mit agentischem Data Engineering noch weiter vorantreiben und agentische KI verwenden, um Pipelines mit vollständiger Kenntnis ihrer Daten zu erstellen, zu verfeinern und zu optimieren.

Lakeflow ist für jedes Team entwickelt, das am Aufbau von Datenpipelines beteiligt ist – nicht nur für dedizierte Data Engineers. Ebenfalls ohne technische Vorkenntnisse können über Schnittstellen wie den Databricks SQL-Editor und Lakeflow Designer Pipelines erstellen, verwalten und Fehler beheben. Dabei verwenden Sie SQL, natürliche Sprache oder visuelle Workflows. Gleichzeitig arbeiten die Data-Engineering-Teams mit derselben zugrunde liegenden Engine, sodass sie weiterhin die Leistung, Automatisierung und Zuverlässigkeit der Plattform nutzen. Diese gemeinsame Grundlage ermöglicht es Organisationen, die Arbeit in der Datenpipeline über ein einziges spezialisiertes Team hinaus auszuweiten.

Lakeflow kombiniert Aufnahme, Transformation und Orchestrierung in einem einzigen, einheitlichen Tool-Stack, sodass separate Punktlösungen für jede Phase erforderlich sind. Dies reduziert Kosten und Integrationsaufwand im Vergleich zur Verwaltung mehrerer getrennter Tools und sorgt dafür, dass Daten in der gesamten Pipeline unter integrierter, einheitlicher Governance und Datenherkunft bleiben. Komponenten wie Lakeflow Connect für die Datenaufnahme, Spark Declarative Pipelines für die Transformation und Lakeflow Jobs für die Orchestrierung laufen alle auf derselben Engine, die die Ressourcennutzung sowohl für Batch- als auch für Echtzeit-Anwendungsfälle automatisch optimiert.

Sie können sich mit Lakeflow vertraut machen, indem Sie die kostenlose Data Engineering-Schulung absolvieren. Dieses Programm wurde entwickelt, um Ihnen in 90 Minuten die Grundlagen des Data Engineering zu vermitteln. Von dort aus deckt die Lakeflow-Dokumentation alles ab, was für den Aufbau von Pipelines erforderlich ist, einschließlich Aufnahme, Transformation und Orchestrierung. Teams, die die Plattform zuerst in Aktion sehen möchten, können sich auch die Data Engineering-Demos zur Databricks Data + AI Platform ansehen.