Delta Live Tables (DLT) semplifica la costruzione e la gestione di pipeline di dati affidabili che forniscono dati di alta qualità su Delta Lake. DLT aiuta i team di data engineering a semplificare lo sviluppo e la gestione di processi ETL con sviluppo di pipeline dichiarative, test automatici sui dati e visibilità approfondita per monitoraggio e recupero.
Maggiore facilità nella costruzione e manutenzione di pipeline di dati
Delta Live Tables consente di definire facilmente pipeline di dati complete, specificando la sorgente di dati, la logica di trasformazione e lo stato di destinazione dei dati, invece di "cucire" manualmente lavori di elaborazione di dati isolati in compartimenti stagni. Si possono mantenere automaticamente tutte le dipendenze dei dati lungo la pipeline e riutilizzare le pipeline ETL con una gestione dei dati indipendente dall'ambiente. I dati possono essere elaborati in batch o in streaming, specificando il calcolo incrementale o completo per ogni tabella.
Test automatici
Delta Live Tables contribuisce a garantire lo svolgimento di attività accurate e utili di BI, data science e machine learning con dati di alta qualità per gli utenti a valle. Controlli di convalida e integrità impediscono che dati scadenti finiscano nelle tabelle, mentre politiche predefinite per la gestione degli errori (errore, abbandono, avviso o quarantena) evitano problemi di qualità dei dati. Inoltre, l'andamento della qualità dei dati nel tempo può essere monitorato per capire come si evolvono i dati e dove potrebbero essere necessarie modifiche.
Visibilità approfondita per monitoraggio e recupero facili
Gli strumenti per tracciare visivamente le statistiche operative e la provenienza dei dati offrono una visibilità approfondita delle operazioni sulla pipeline. I tempi morti vengono ridotti grazie alla gestione automatica degli errori e alla facilità di riesecuzione (replay). L'implementazione e gli aggiornamenti con un unico clic velocizzano la manutenzione.
Casi d'uso
Soddisfare i requisiti normativi
Tutte le informazioni sulla tabella per analisi e verifiche possono essere catturate automaticamente con il registro eventi. Diventa così chiaro come i dati fluiscono all'interno dell'organizzazione e rispettano i requisiti di conformità.
Semplificare l'implementazione e i test delle pipeline di dati
Grazie a diverse copie dei dati, isolati e aggiornati attraverso un'unica base di codice, le informazioni sulla provenienza dei dati possono essere acquisite e utilizzate per mantenere i dati aggiornati, sempre e ovunque. Lo stesso set di definizioni di query può essere così eseguito in fase di sviluppo, staging e produzione.
Ridurre la complessità operativa con elaborazioni unificate in batch e streaming
Le pipeline in batch e in streaming possono essere costruite ed eseguite in un unico posto, con impostazioni di aggiornamento controllabili e automatizzate, risparmiando tempo e riducendo la complessità operativa.
REFERENZA
"In Shell, stiamo aggregando tutti i dati dei nostri sensori in un data store integrato. Delta Live Tables ha aiutato i nostri team a risparmiare tempo e lavoro nella gestione dei dati [nell'ordine di migliaia di miliardi di record] e a migliorare continuamente le nostre capacità di ingegneria AI. Grazie a queste funzionalità che potenziano l'architettura lakehouse esistente, Databricks sta rivoluzionando i mercati di ETL e data warehouse, una svolta importante per aziende come la nostra. Siamo entusiasti di continuare a lavorare con Databricks come partner per l'innovazione”.
– Dan Jeavons, General Manager – Data Science, Shell
Risorse
Tutte le risorse di cui hai bisogno in un unico posto.
Pronti per cominciare?
