Build Data Pipelines with Apache Spark Declarative Pipelines - French
Ce cours présente aux utilisateurs les concepts et compétences essentiels nécessaires à la création de pipelines de données à l'aide d'Apache Spark™ Declarative Pipelines (SDP) dans Databricks, pour l'ingestion et le traitement incrémentiels par lots ou en streaming à travers plusieurs tables de streaming et vues matérialisées. Conçu pour les ingénieurs de données novices en Spark Declarative Pipelines, le cours offre un aperçu complet des composants fondamentaux tels que le traitement incrémentiel des données, les tables de streaming, les vues matérialisées et les vues temporaires, en mettant en évidence leurs objectifs spécifiques et leurs différences.
Les sujets abordés comprennent :
• Développer et déboguer des pipelines ETL avec l'éditeur multifichier de Spark Declarative Pipelines en SQL (avec des exemples de code Python fournis)
• Comment Spark Declarative Pipelines suit les dépendances de données d'un pipeline via le graphe du pipeline
• Configurer les ressources de calcul du pipeline, les ressources de données, les modes de déclenchement et d'autres options avancées
Ensuite, le cours présente les expectations de qualité des données dans Spark Declarative Pipelines, guidant les utilisateurs dans le processus d'intégration des expectations aux pipelines afin de valider et de garantir l'intégrité des données. Les apprenants découvriront ensuite comment mettre un pipeline en production, y compris les options de planification, et comment activer la journalisation des événements du pipeline pour surveiller ses performances et son état de santé.
Enfin, le cours explique comment implémenter le Change Data Capture (CDC) à l'aide de la syntaxe AUTO CDC INTO dans Spark Declarative Pipelines pour gérer les dimensions à évolution lente (SCD Type 1 et Type 2), préparant les utilisateurs à intégrer le CDC dans leurs propres pipelines.
Remarque : Pour les fichiers de cours SCORM, veuillez fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton ‘Next Lesson’, car cela pourrait empêcher le module SCORM d’être marqué comme terminé.
Dans ce cours, le contenu a été élaboré pour des participants possédant les compétences, connaissances et aptitudes suivantes :
• Compréhension de base de la plateforme Databricks Data Intelligence, y compris les espaces de travail Databricks, Apache Spark, Delta Lake, l'architecture Medallion, Lakeflow Jobs et Unity Catalog.
• Expérience de l'ingestion de données brutes dans des tables Delta, y compris l'utilisation de la fonction SQL read_files pour charger des formats tels que CSV, JSON, TXT et Parquet.
• Maîtrise de la transformation des données en SQL, y compris l'écriture de requêtes de niveau intermédiaire et une compréhension de base des jointures SQL.
• Compréhension des concepts ETL et des workflows par lots/streaming.
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Inscrivez-vous maintenantInstructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Inscrivez-vous maintenantBlended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase nowSkills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

