Lakeflow Declarative Pipeline - Introduction

Cette démo est une introduction à Lakeflow Declarative Pipeline, un cadre ETL qui rend l'ingénierie des données accessible à tous. Déclarez simplement vos transformations en SQL ou Python, et Declarative Pipeline gérera la complexité de l'ingénierie des données pour vous :

• Accélérer le développement ETL: Permettre aux analystes et aux ingénieurs de données d'innover rapidement avec un développement et une maintenance de pipeline simples
• Supprimez la complexité opérationnelle: En automatisant des tâches administratives complexes et en obtenant une visibilité plus large sur les opérations de pipeline
• Faites confiance à vos données: Avec des contrôles de qualité intégrés et une surveillance de la qualité pour garantir une BI, une science des données et un ML précis et utiles.
• Valorisez vos données avec l'IA: Effectuez des transformations de pointe avec les requêtes SQL AI de Databricks
• Simplifiez les lots et le streaming: Avec l'auto-optimisation et l'auto-dimensionnement des pipelines de données pour le traitement par lots ou en streaming

Dans cette démo, nous utiliserons un ensemble de données brut contenant des informations sur notre système de location de vélos en tant qu'entrée. Notre objectif est d'ingérer ces données en temps quasi réel et de construire des tables pour notre équipe d'analystes tout en garantissant la qualité des données.

Pour installer la démo, obtenez un espace de travail Databricks gratuit et exécutez les deux commandes suivantes dans un carnet Python

Dbdemos est une bibliothèque Python qui installe des démos Databricks complètes dans vos espaces de travail. Dbdemos chargera et démarrera des notebooks, des pipelines DLT, des clusters, des tableaux de bord SQL Databricks, des modèles d'entrepôt ... Voir comment utiliser dbdemos

Dbdemos est distribué comme un projet GitHub.

Pour plus de détails, veuillez consulter le fichier GitHub README.md et suivre la documentation.
Dbdemos est fourni tel quel. Voir la Licence et Notice pour plus d'informations.
Databricks n'offre pas de support officiel pour dbdemos et les actifs associés.
Pour tout problème, veuillez ouvrir un ticket et l'équipe de démo examinera sur une base de meilleurs efforts.