Delta Live Tables (DLT) macht es einfach, zuverlässige Batch- und Streaming-Datenpipelines, die qualitativ hochwertige Daten liefern, auf der Databricks Lakehouse Platform zu entwickeln und zu verwalten. DLT unterstützt Data-Engineering-Teams bei der Vereinfachung der ETL-Entwicklung und -Verwaltung mit deklarativer Pipeline-Entwicklung, automatischen Datentests und umfassenden Einblicken in Monitoring und Wiederherstellung.
Einfaches Erstellen und Pflegen von Datenpipelines
Mit Delta Live Tables lassen sich auf einfache Weise durchgängige Datenpipelines in SQL oder Python definieren. Statt isolierte Datenverarbeitungsjobs manuell zusammenzufügen, geben Sie einfach nur die Datenquelle, die Transformationslogik und den Zielzustand der Daten an. Alle Datenabhängigkeiten innerhalb der gesamten Pipeline werden automatisch aufrechterhalten. So können Sie ETL-Pipelines mit umgebungsunabhängiger Datenverwaltung wiederverwenden. Führen Sie Berechnungen im Batch- oder Streaming-Modus aus und legen Sie für jede Tabelle eine inkrementelle oder vollständige Berechnung fest.
Automatische Datenqualitätstests
Delta Live Tables sorgt für korrekte und nützliche BI, Data Science und maschinelles Lernen und stellt sicher, dass Endanwendern für ihre Arbeit hochwertige Daten zur Verfügung stehen. Mithilfe von Validierungs- und Integritätsprüfungen verhindern Sie, dass fehlerhafte Daten in Tabellen gelangen, und vermeiden durch vordefinierte Fehlerrichtlinien (Fehler, Löschen, Warnung und Datenquarantäne) Beeinträchtigungen der Datenqualität. Zudem können Sie die Entwicklung der Datenqualität im zeitlichen Verlauf überwachen, um einen Einblick in die Entwicklung Ihrer Daten zu erhalten und zu ermitteln, an welchen Stellen Änderungen erforderlich sein könnten.
Kostengünstiges Streaming durch effizientes Compute-Autoscaling
Delta Live Tables Enhanced Autoscaling wurde entwickelt, um Streaming-Workloads zu bewältigen, die zeitlich und vom Volumen her unvorhersehbar sind. Es optimiert die Clusterauslastung, indem es nur auf die erforderliche Anzahl von Knoten skaliert, während SLAs durchgängig eingehalten werden. Knoten werden bei geringer Auslastung heruntergefahren, um unnötige Ausgaben zu vermeiden.
Detailgenaue Einblicke für Monitoring und Beobachtbarkeit der Pipeline
Verschaffen Sie sich mit Tools für das visuelle Tracking von Betriebsstatistiken und Datenherkunft einen detailgenauen Einblick in die Abläufe in Ihren Pipelines. Reduzieren Sie Ausfallzeiten durch automatische Fehlerbehandlung und einfache Wiedereinspielung. Beschleunigen Sie die Wartung durch 1-Klick-Bereitstellungen und -Upgrades.
Shells trusts Delta Live Tables
„Bei Shell führen wir alle unsere Sensordaten in einem integrierten Datenspeicher zusammen. Mit Delta Live Tables ist es unserem Team gelungen, beim Verwalten der Daten [im Umfang von mehreren Billionen Datensätzen] viel Zeit und Aufwand einzusparen und unsere Kompetenzen im Bereich KI-Engineering fortlaufend zu verbessern. Mit dieser Fähigkeit, die die bestehende Lakehouse-Architektur ergänzt, hat Databricks für Disruptionen auf den ETL- und Data-Warehouse-Märkten gesorgt, was für Unternehmen wie das unsere wichtig ist. Wir freuen uns auf die weitere Zusammenarbeit mit Databricks als Innovationspartner.“
Anwendungsfälle
Batch- und Streaming-ETL zusammenführen
Erstellen und betreiben Sie Batch- wie auch Streaming-Pipelines an zentraler Stelle mit steuerbaren und automatisierten Aktualisierungseinstellungen, um Zeit zu sparen und die operative Komplexität zu verringern. Für das Datenstreaming im Lakehouse ist das Streaming von ETL mit Delta Live Tables der beste Ausgangspunkt.
Vereinfachtes Bereitstellen und Testen von Datenpipelines
Da verschiedene Kopien der Daten über eine einzige Codebasis isoliert und aktualisiert werden, können Informationen zur Datenherkunft erfasst und dazu verwendet werden, die Daten ortsunabhängig auf dem aktuellen Stand zu halten. So können dieselben Abfragedefinitionen in der Entwicklung, beim Staging und in der Produktion ausgeführt werden.
Gesetzliche Anforderungen erfüllen
Mit dem Ereignisprotokoll erfassen Sie zu Analyse- und Audit-Zwecken automatisch alle Informationen über Ihre Tabelle. Erkennen Sie, wie sich Daten durch Ihr Unternehmen bewegen, und erfüllen Sie Compliance-Anforderungen.
