Delta Live Tables (DLT) reduziert Entwicklungs- und Verwaltungsaufwand zuverlässiger Datenpipelines, die hochwertige Daten auf Delta Lake bereitstellen. DLT unterstützt Data-Engineering-Teams bei der Vereinfachung der ETL-Entwicklung und -Verwaltung mit deklarativer Pipeline-Entwicklung, automatischen Datentests und umfassenden Einblicken in Überwachung und Wiederherstellung.
Einfacheres Erstellen und Pflegen von Datenpipelines
Mit Delta Live Tables lassen sich auf einfachste Weise durchgängige Datenpipelines definieren: Statt isolierte Datenverarbeitungsaufträge manuell zusammenzufügen, geben Sie einfach nur die Datenquelle, die Transformationslogik und den Zielzustand der Daten an. Alle Datenabhängigkeiten innerhalb der gesamten Pipeline werden automatisch aufrechterhalten, und ETL-Pipelines lassen sich mit umgebungsunabhängigem Datenmanagement wiederverwenden. Führen Sie Berechnungen als Batch oder Streaming aus und legen Sie für jede Tabelle eine inkrementelle oder vollständige Berechnung fest.
Automatische Tests
Delta Live Tables sorgt für korrekte und nützliche BI, Data Science und maschinelles Lernen und stellt sicher, dass Endanwendern für ihre Arbeit hochwertige Daten zur Verfügung stehen. Mithilfe von Validierungs- und Integritätsprüfungen verhindern Sie, dass fehlerhafte Daten in Tabellen gelangen, und vermeiden durch vordefinierte Fehlerrichtlinien (Fehler, Löschen, Warnung und Datenquarantäne) Beeinträchtigungen der Datenqualität. Zudem können Sie die Entwicklung der Datenqualität im zeitlichen Verlauf überwachen, um einen Einblick in die Entwicklung Ihrer Daten zu erhalten und zu ermitteln, an welchen Stellen Änderungen erforderlich sein könnten.
Umfassende Einblicke zur besseren Überwachung und einfacheren Wiederherstellung
Verschaffen Sie sich mit Tools für das visuelle Tracking von Betriebsstatistiken und Datenherkunft einen detailgenauen Einblick in die Abläufe in Ihren Pipelines. Reduzieren Sie Ausfallzeiten durch automatische Fehlerbehandlung und einfache Wiedereinspielung. Beschleunigen Sie die Wartung durch 1-Klick-Bereitstellungen und -Upgrades.
Anwendungsfälle
Gesetzliche Anforderungen erfüllen
Mit dem Ereignisprotokoll erfassen Sie zu Analyse- und Audit-Zwecken automatisch alle Informationen über Ihre Tabelle. Erkennen Sie, wie sich Daten durch Ihr Unternehmen bewegen, und erfüllen Sie Compliance-Anforderungen.
Vereinfachtes Bereitstellen und Testen von Datenpipelines
Da verschiedene Kopien der Daten über eine einzige Codebasis isoliert und aktualisiert werden, können Informationen zur Datenherkunft erfasst und dazu verwendet werden, die Daten ortsunabhängig auf dem aktuellen Stand zu halten. So können dieselben Abfragedefinitionen in der Entwicklung, beim Staging und in der Produktion ausgeführt werden.
Betriebliche Komplexität durch einheitliches Batch und Streaming reduzieren
Erstellen und betreiben Sie Batch- wie auch Streaming-Pipelines an zentraler Stelle mit steuerbaren und automatisierten Aktualisierungseinstellungen, um Zeit zu sparen und die betriebliche Komplexität zu verringern.
Kundenbericht
Kundenbericht
eine neue Ära des datengestützten Handels ein
„Bei Shell führen wir alle unsere Sensordaten in einem integrierten Datenspeicher zusammen. Mit Delta Live Tables ist es unserem Team gelungen, beim Verwalten der Daten [im Umfang von mehreren Billionen Datensätzen] viel Zeit und Aufwand einzusparen und unsere Kompetenzen im Bereich KI-Engineering fortlaufend zu verbessern. Mit dieser Fähigkeit, die die bestehende Lakehouse-Architektur ergänzt, hat Databricks für Disruptionen auf den ETL- und Data-Warehouse-Märkten gesorgt, was für Unternehmen wie das unsere wichtig ist. Wir freuen uns auf die weitere Zusammenarbeit mit Databricks als Innovationspartner.“
– Dan Jeavons, General Manager Data Science, Shell
Ressourcen
Alle Ressourcen, die Sie brauchen. Alle an einem Ort.
Kann's
losgehen?
