Delta Live Tables (DLT) makes it easy to build and manage reliable batch and streaming data pipelines that deliver high-quality data on the Databricks Lakehouse Platform. DLT helps data engineering teams simplify ETL development and management with declarative pipeline development, automatic data testing, and deep visibility for monitoring and recovery.
Easily build and maintain data pipelines
With Delta Live Tables, easily define end-to-end data pipelines in SQL or Python. Simply specify the data source, the transformation logic, and the destination state of the data — instead of manually stitching together siloed data processing jobs. Automatically maintain all data dependencies across the pipeline and reuse ETL pipelines with environment-independent data management. Run in batch or streaming mode and specify incremental or complete computation for each table.
Automatic data quality testing
Delta Live Tables sorgt für korrekte und nützliche BI, Data Science und maschinelles Lernen und stellt sicher, dass Endanwendern für ihre Arbeit hochwertige Daten zur Verfügung stehen. Mithilfe von Validierungs- und Integritätsprüfungen verhindern Sie, dass fehlerhafte Daten in Tabellen gelangen, und vermeiden durch vordefinierte Fehlerrichtlinien (Fehler, Löschen, Warnung und Datenquarantäne) Beeinträchtigungen der Datenqualität. Zudem können Sie die Entwicklung der Datenqualität im zeitlichen Verlauf überwachen, um einen Einblick in die Entwicklung Ihrer Daten zu erhalten und zu ermitteln, an welchen Stellen Änderungen erforderlich sein könnten.
Cost-effective streaming through efficient compute autoscaling
Delta Live Tables Enhanced Autoscaling is designed to handle streaming workloads which are spiky and unpredictable. It optimizes cluster utilization by only scaling up to the necessary number of nodes while maintaining end-to-end SLAs, and gracefully shuts down nodes when utilization is low to avoid unnecessary spend.
Deep visibility for pipeline monitoring and observability
Verschaffen Sie sich mit Tools für das visuelle Tracking von Betriebsstatistiken und Datenherkunft einen detailgenauen Einblick in die Abläufe in Ihren Pipelines. Reduzieren Sie Ausfallzeiten durch automatische Fehlerbehandlung und einfache Wiedereinspielung. Beschleunigen Sie die Wartung durch 1-Klick-Bereitstellungen und -Upgrades.
Anwendungsfälle
Unify batch and streaming ETL
Build and run both batch and streaming pipelines in one place with controllable and automated refresh settings, saving time and reducing operational complexity. For data streaming on the lakehouse, streaming ETL with Delta Live Tables is the best place to start.
Vereinfachtes Bereitstellen und Testen von Datenpipelines
Da verschiedene Kopien der Daten über eine einzige Codebasis isoliert und aktualisiert werden, können Informationen zur Datenherkunft erfasst und dazu verwendet werden, die Daten ortsunabhängig auf dem aktuellen Stand zu halten. So können dieselben Abfragedefinitionen in der Entwicklung, beim Staging und in der Produktion ausgeführt werden.
Gesetzliche Anforderungen erfüllen
Mit dem Ereignisprotokoll erfassen Sie zu Analyse- und Audit-Zwecken automatisch alle Informationen über Ihre Tabelle. Erkennen Sie, wie sich Daten durch Ihr Unternehmen bewegen, und erfüllen Sie Compliance-Anforderungen.
Kundenbericht
Kundenbericht
eine neue Ära des datengestützten Handels ein
„Bei Shell führen wir alle unsere Sensordaten in einem integrierten Datenspeicher zusammen. Mit Delta Live Tables ist es unserem Team gelungen, beim Verwalten der Daten [im Umfang von mehreren Billionen Datensätzen] viel Zeit und Aufwand einzusparen und unsere Kompetenzen im Bereich KI-Engineering fortlaufend zu verbessern. Mit dieser Fähigkeit, die die bestehende Lakehouse-Architektur ergänzt, hat Databricks für Disruptionen auf den ETL- und Data-Warehouse-Märkten gesorgt, was für Unternehmen wie das unsere wichtig ist. Wir freuen uns auf die weitere Zusammenarbeit mit Databricks als Innovationspartner.“
– Dan Jeavons, General Manager Data Science, Shell
Ressourcen
Alle Ressourcen, die Sie brauchen. Alle an einem Ort.
Kann's
losgehen?
