Lakeflow Declarative Pipeline - Introduzione

Questa demo è un'introduzione a Lakeflow Declarative Pipeline, un framework ETL che rende l'ingegneria dei dati accessibile a tutti. Dichiara semplicemente le tue trasformazioni in SQL o Python, e Declarative Pipeline gestirà per te la complessità dell'ingegneria dei dati:

• Accelerare lo sviluppo ETL: Permetti agli analisti e agli ingegneri dei dati di innovare rapidamente con lo sviluppo e la manutenzione di pipeline semplici
• Rimuovi la complessità operativa: Automatizzando complesse attività amministrative e ottenendo una visione più ampia delle operazioni del pipeline
• Affida i tuoi dati: Con controlli di qualità integrati e monitoraggio della qualità per garantire BI, scienza dei dati e ML accurati e utili
• Potenzia i tuoi dati con l'IA: Esegui trasformazioni all'avanguardia con le query AI di Databricks SQL
• Semplifica batch e streaming: Con pipeline di dati auto-ottimizzanti e autoscalanti per l'elaborazione batch o streaming

In questa demo, utilizzeremo un dataset grezzo contenente informazioni sul nostro sistema di noleggio biciclette come input. Il nostro obiettivo è di acquisire questi dati in tempo quasi reale e costruire tabelle per il nostro team di analisti, garantendo al contempo la qualità dei dati.

Per installare la demo, ottieni un spazio di lavoro Databricks gratuito ed esegui i seguenti due comandi in un notebook Python

Dbdemos è una libreria Python che installa demo Databricks complete nei tuoi spazi di lavoro. Dbdemos caricherà e avvierà quaderni, pipeline DLT, cluster, cruscotti Databricks SQL, modelli di magazzino... Vedi come usare dbdemos

Dbdemos è distribuito come un progetto GitHub.

Per ulteriori dettagli, si prega di visualizzare il file GitHub README.md e seguire la documentazione.
Dbdemos è fornito così com'è. Consulta la Licenza e il Avviso per ulteriori informazioni.
Databricks non offre supporto ufficiale per dbdemos e gli asset associati.
Per qualsiasi problema, si prega di aprire un ticket e il team di demo darà un'occhiata nel miglior modo possibile.