Delta Live Tables

Reliable data engineering made easy

RegistrierenDemo ansehen

Delta Live Tables (DLT) makes it easy to build and manage reliable batch and streaming data pipelines that deliver high-quality data on the Databricks Lakehouse Platform. DLT helps data engineering teams simplify ETL development and management with declarative pipeline development, automatic data testing, and deep visibility for monitoring and recovery.

Hintergrundbild

Easily build and maintain data pipelines

With Delta Live Tables, easily define end-to-end data pipelines in SQL or Python. Simply specify the data source, the transformation logic, and the destination state of the data — instead of manually stitching together siloed data processing jobs. Automatically maintain all data dependencies across the pipeline and reuse ETL pipelines with environment-independent data management. Run in batch or streaming mode and specify incremental or complete computation for each table.

Automatic data quality testing

Delta Live Tables sorgt für korrekte und nützliche BI, Data Science und maschinelles Lernen und stellt sicher, dass Endanwendern für ihre Arbeit hochwertige Daten zur Verfügung stehen. Mithilfe von Validierungs- und Integritätsprüfungen verhindern Sie, dass fehlerhafte Daten in Tabellen gelangen, und vermeiden durch vordefinierte Fehlerrichtlinien (Fehler, Löschen, Warnung und Datenquarantäne) Beeinträchtigungen der Datenqualität. Zudem können Sie die Entwicklung der Datenqualität im zeitlichen Verlauf überwachen, um einen Einblick in die Entwicklung Ihrer Daten zu erhalten und zu ermitteln, an welchen Stellen Änderungen erforderlich sein könnten.

Cost-effective streaming through efficient compute autoscaling

Delta Live Tables Enhanced Autoscaling is designed to handle streaming workloads which are spiky and unpredictable. It optimizes cluster utilization by only scaling up to the necessary number of nodes while maintaining end-to-end SLAs, and gracefully shuts down nodes when utilization is low to avoid unnecessary spend.

Deep visibility for pipeline monitoring and observability

Verschaffen Sie sich mit Tools für das visuelle Tracking von Betriebsstatistiken und Datenherkunft einen detailgenauen Einblick in die Abläufe in Ihren Pipelines. Reduzieren Sie Ausfallzeiten durch automatische Fehlerbehandlung und einfache Wiedereinspielung. Beschleunigen Sie die Wartung durch 1-Klick-Bereitstellungen und -Upgrades.

Anwendungsfälle

Unify batch and streaming ETL

Build and run both batch and streaming pipelines in one place with controllable and automated refresh settings, saving time and reducing operational complexity. For data streaming on the lakehouse, streaming ETL with Delta Live Tables is the best place to start.

Vereinfachtes Bereitstellen und Testen von Datenpipelines

Da verschiedene Kopien der Daten über eine einzige Codebasis isoliert und aktualisiert werden, können Informationen zur Datenherkunft erfasst und dazu verwendet werden, die Daten ortsunabhängig auf dem aktuellen Stand zu halten. So können dieselben Abfragedefinitionen in der Entwicklung, beim Staging und in der Produktion ausgeführt werden.

Gesetzliche Anforderungen erfüllen

Mit dem Ereignisprotokoll erfassen Sie zu Analyse- und Audit-Zwecken automatisch alle Informationen über Ihre Tabelle. Erkennen Sie, wie sich Daten durch Ihr Unternehmen bewegen, und erfüllen Sie Compliance-Anforderungen.

healthdirect
Kundenbericht Atlassian

Kundenbericht

Mit Daten und KI die Gesundheit der Patienten in den Mittelpunkt stellen
Columbia
Kundenbericht Atlassian

Kundenbericht

Der Umstieg in die Cloud läutet
eine neue Ära des datengestützten Handels ein

„Bei Shell führen wir alle unsere Sensordaten in einem integrierten Datenspeicher zusammen. Mit Delta Live Tables ist es unserem Team gelungen, beim Verwalten der Daten [im Umfang von mehreren Billionen Datensätzen] viel Zeit und Aufwand einzusparen und unsere Kompetenzen im Bereich KI-Engineering fortlaufend zu verbessern. Mit dieser Fähigkeit, die die bestehende Lakehouse-Architektur ergänzt, hat Databricks für Disruptionen auf den ETL- und Data-Warehouse-Märkten gesorgt, was für Unternehmen wie das unsere wichtig ist. Wir freuen uns auf die weitere Zusammenarbeit mit Databricks als Innovationspartner.“

– Dan Jeavons, General Manager Data Science, Shell

Ressourcen

Alle Ressourcen, die Sie brauchen. Alle an einem Ort. Bild

Alle Ressourcen, die Sie brauchen. Alle an einem Ort.

Explore resources on the benefits of data engineering with Delta Live Tables on Databricks.