Skip to main content

Delta Live Tables

Zuverlässiges Data Engineering leicht gemacht

Delta Live Tables Thumbnail

Delta Live Tables (DLT) macht es einfach, zuverlässige Batch- und Streaming-Datenpipelines, die qualitativ hochwertige Daten liefern, auf der Databricks Lakehouse Platform zu entwickeln und zu verwalten. DLT unterstützt Data-Engineering-Teams bei der Vereinfachung der ETL-Entwicklung und -Verwaltung mit deklarativer Pipeline-Entwicklung, automatischen Datentests und umfassenden Einblicken in Monitoring und Wiederherstellung.

Easily build and maintain data pipelines

Einfaches Erstellen und Pflegen von Datenpipelines

Mit Delta Live Tables lassen sich auf einfache Weise durchgängige Datenpipelines in SQL oder Python definieren. Statt isolierte Datenverarbeitungsjobs manuell zusammenzufügen, geben Sie einfach nur die Datenquelle, die Transformationslogik und den Zielzustand der Daten an. Alle Datenabhängigkeiten innerhalb der gesamten Pipeline werden automatisch aufrechterhalten. So können Sie ETL-Pipelines mit umgebungsunabhängiger Datenverwaltung wiederverwenden. Führen Sie Berechnungen im Batch- oder Streaming-Modus aus und legen Sie für jede Tabelle eine inkrementelle oder vollständige Berechnung fest.

Automatic data quality testing

Automatische Datenqualitätstests

Delta Live Tables sorgt für korrekte und nützliche BI, Data Science und maschinelles Lernen und stellt sicher, dass Endanwendern für ihre Arbeit hochwertige Daten zur Verfügung stehen. Mithilfe von Validierungs- und Integritätsprüfungen verhindern Sie, dass fehlerhafte Daten in Tabellen gelangen, und vermeiden durch vordefinierte Fehlerrichtlinien (Fehler, Löschen, Warnung und Datenquarantäne) Beeinträchtigungen der Datenqualität. Zudem können Sie die Entwicklung der Datenqualität im zeitlichen Verlauf überwachen, um einen Einblick in die Entwicklung Ihrer Daten zu erhalten und zu ermitteln, an welchen Stellen Änderungen erforderlich sein könnten.

Delta Live Tables Autoscaling

Kostengünstiges Streaming durch effizientes Compute-Autoscaling

Delta Live Tables Enhanced Autoscaling wurde entwickelt, um Streaming-Workloads zu bewältigen, die zeitlich und vom Volumen her unvorhersehbar sind. Es optimiert die Clusterauslastung, indem es nur auf die erforderliche Anzahl von Knoten skaliert, während SLAs durchgängig eingehalten werden. Knoten werden bei geringer Auslastung heruntergefahren, um unnötige Ausgaben zu vermeiden.

pipeline monitoring

Detailgenaue Einblicke für Monitoring und Beobachtbarkeit der Pipeline

Verschaffen Sie sich mit Tools für das visuelle Tracking von Betriebsstatistiken und Datenherkunft einen detailgenauen Einblick in die Abläufe in Ihren Pipelines. Reduzieren Sie Ausfallzeiten durch automatische Fehlerbehandlung und einfache Wiedereinspielung. Beschleunigen Sie die Wartung durch 1-Klick-Bereitstellungen und -Upgrades.

Shells trusts Delta Live Tables

„Bei Shell führen wir alle unsere Sensordaten in einem integrierten Datenspeicher zusammen. Mit Delta Live Tables ist es unserem Team gelungen, beim Verwalten der Daten [im Umfang von mehreren Billionen Datensätzen] viel Zeit und Aufwand einzusparen und unsere Kompetenzen im Bereich KI-Engineering fortlaufend zu verbessern. Mit dieser Fähigkeit, die die bestehende Lakehouse-Architektur ergänzt, hat Databricks für Disruptionen auf den ETL- und Data-Warehouse-Märkten gesorgt, was für Unternehmen wie das unsere wichtig ist. Wir freuen uns auf die weitere Zusammenarbeit mit Databricks als Innovationspartner.“

– Dan Jeavons, General Manager Data Science, Shell

Anwendungsfälle

Unify batch and streaming ETL

Batch- und Streaming-ETL zusammenführen

Erstellen und betreiben Sie Batch- wie auch Streaming-Pipelines an zentraler Stelle mit steuerbaren und automatisierten Aktualisierungseinstellungen, um Zeit zu sparen und die operative Komplexität zu verringern. Für das Datenstreaming im Lakehouse ist das Streaming von ETL mit Delta Live Tables der beste Ausgangspunkt.

Simplify data pipeline deployment and testing

Vereinfachtes Bereitstellen und Testen von Datenpipelines

Da verschiedene Kopien der Daten über eine einzige Codebasis isoliert und aktualisiert werden, können Informationen zur Datenherkunft erfasst und dazu verwendet werden, die Daten ortsunabhängig auf dem aktuellen Stand zu halten. So können dieselben Abfragedefinitionen in der Entwicklung, beim Staging und in der Produktion ausgeführt werden.

Meet regulatory requirements

Gesetzliche Anforderungen erfüllen

Mit dem Ereignisprotokoll erfassen Sie zu Analyse- und Audit-Zwecken automatisch alle Informationen über Ihre Tabelle. Erkennen Sie, wie sich Daten durch Ihr Unternehmen bewegen, und erfüllen Sie Compliance-Anforderungen.

Ressourcen

Whitepaper

Power of DLT

Webinare

Tackle Data Transformation Challenges

Demos

ETL Pipelines