Build Data Pipelines with Apache Spark Declarative Pipelines - French

Ce cours présente aux utilisateurs les concepts essentiels et les compétences nécessaires pour construire des pipelines de données à l'aide d'Apache Spark™ Pipeline déclaratifs (SDP) dans Databricks pour l'ingestion et le traitement incrémentaux en batch ou en streaming à travers plusieurs tables streaming et vues matérialisées. Conçu pour les ingénieurs de données qui débutent avec Spark Pipeline déclaratifs, le cours offre une vue d'ensemble complète des composants fondamentaux tels que le traitement incrémental des données, les tables streaming, les vues matérialisées et les vues temporaires, en mettant en évidence leurs objectifs spécifiques et leurs différences.

Les sujets abordés comprennent :

• Le développement et le débogage de pipelines ETL avec l'éditeur multi-fichiers dans Spark Pipeline déclaratifs en utilisant SQL (avec des exemples de code Python fournis)

• La façon dont Spark Pipeline déclaratifs suit les dépendances des données dans un pipeline à travers le graphique du pipeline

• La configuration des ressources compute du pipeline, des actifs de données, des modes de déclencheur et d'autres options avancées

Ensuite, le cours présente les attentes en matière de qualité des données dans Spark Pipeline déclaratifs, guidant les utilisateurs à travers le processus d'intégration des attentes dans les pipelines pour valider et appliquer l'Intégrité des données. Les apprenants exploreront ensuite comment mettre un pipeline en production, notamment les options de planification, et l'activation de la journalisation des événements du pipeline pour surveiller la performance et l'état du pipeline.

Enfin, le cours explique comment implémenter le Change Data Capture (CDC) à l'aide de la syntaxe AUTO CDC INTO dans Spark Pipeline déclaratifs pour gérer les slowly changing dimensions (SCD Type 1 et Type 2), préparant ainsi les utilisateurs à intégrer le CDC dans leurs propres pipelines.

Remarque : Databricks Academy adopte progressivement un format basé sur des notebooks pour les sessions en salle de classe au sein de l'environnement Databricks, abandonnant l'utilisation de diaporamas pour les cours. Vous pouvez accéder aux notebooks de cours dans l'environnement de lab Vocareum.

Skill Level

Associate

Duration

Prerequisites

Dans ce cours, le contenu a été conçu pour des participants possédant les compétences/connaissances/aptitudes suivantes :

• Compréhension de base de la Databricks Data Intelligence platform, notamment les Espaces de travail Databricks, Apache Spark, Delta Lake, la Medallion Architecture, les Lakeflow jobs et Unity Catalog.

• Expérience dans l'ingestion de Données brutes dans des tables Delta, notamment l'utilisation de la fonction SQL read_files pour charger des formats tels que CSV, JSON, TXT et Parquet.

• Maîtrise de la transformation des données à l'aide de SQL, notamment la rédaction de requêtes de niveau intermédiaire et une compréhension de base des jointures SQL.

• Compréhension des concepts ETL et des Workflows batch/streaming.

Outline

• Introduction au data engineering dans Databricks

• Démo - Configuration du cours et création d'un Pipeline

• Présentation du projet de cours et des types d'ensembles de données

• Développement simplifié de Pipeline et paramètres courants de Pipeline

• Demo - Developing a Simple Pipeline

• Garantir la qualité des données avec les Expectations

• Démo - Ajout d'attentes en matière de qualité des données

• Lab - Create a Pipeline

• Streaming Joins et déploiement de pipelines en production

• Démo - Déploiement d'un pipeline en production

• Change Data Capture (CDC) Overview

• Démo - Change Data Capture avec AUTO CDC avec SCD TYPE 1

• Résumé et Étapes Suivantes

• Bonus Lab - AUTO CDC INTO with SCD Type 1

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Inscrivez-vous maintenant

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Inscrivez-vous maintenant

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Automated Deployment with Declarative Automation Bundles - French

Ce cours propose une revue approfondie des principes DevOps et de leur application aux projets Databricks. Il commence par un aperçu des concepts fondamentaux de DevOps, DataOps, intégration continue (CI), déploiement continu (CD) et tests, et explore comment ces principes peuvent s'appliquer aux pipelines d'ingénierie des données.

Le cours se concentre ensuite sur le déploiement continu au sein du processus CI/CD, en examinant des outils tels que l'API REST, le SDK et le CLI Databricks pour le déploiement de projets. Vous découvrirez les Declarative Automation Bundles (DABs) et leur place dans le processus CI/CD. Vous approfondirez leurs composants clés, la structure des dossiers et la façon dont ils accélèrent le déploiement dans divers environnements cibles sur Databricks. Vous apprendrez également à ajouter des variables, modifier, valider, déployer et exécuter des Declarative Automation Bundles pour plusieurs environnements avec différentes configurations via le CLI Databricks.

Enfin, le cours présente Visual Studio Code comme environnement de développement interactif (IDE) pour construire, tester et déployer des Declarative Automation Bundles localement, en optimisant le processus de développement. Le cours se termine par une introduction à l'automatisation des pipelines de déploiement avec GitHub Actions afin d'améliorer le flux de travail CI/CD avec les Declarative Automation Bundles.

À la fin de ce cours, vous serez prêt à automatiser les déploiements de projets Databricks avec les Declarative Automation Bundles, en améliorant l'efficacité grâce aux pratiques DevOps.

Remarque: Databricks Academy passe à un format basé sur des cahiers de travail pour les sessions en présentiel au sein de l'environnement Databricks, et abandonne ainsi l'utilisation de présentations PowerPoint pour les cours magistraux. Vous pouvez accéder aux cahiers de travail des cours dans l'environnement de laboratoire Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어

Advanced Techniques with Apache Spark Declarative Pipelines - French

Ce cours explore les Pipeline déclaratifs Apache Spark (SDP) de Databricks pour la création de pipelines streaming de qualité production. Vous apprendrez des modèles de conception avancés, une application robuste de la qualité des données et une intégration multiplateforme essentiels pour l'ingénierie lakehouse en conditions réelles.

Tout au long du cours, vous plongerez dans les techniques modernes d'Ingestion de données et de traitement, en maîtrisant des outils tels que le clustering liquide pour l'optimisation de la Disposition et le modèle de streaming Multiplex pour les événements à schémas mixtes. À la fin des modules, vous saurez gérer en toute confiance l'évolution du schéma, automatiser le change data capture (CDC) et garantir l'Intégrité des données.

À travers des cours magistraux et des démonstrations pratiques, vous allez:

• Construire des pipelines multi-flux pour ingérer des données multi-sources dans une table Bronze unifiée.

• Appliquer le clustering liquide et les attentes de qualité des données sur les couches Argent et gold.

• Implémenter le modèle Multiplex avec Iceberg UniForm pour un accès aux données multiplateforme.

• Automatiser le suivi de l'historique SCD de type 2 à l'aide d'AUTO CDC INTO.

• Concevoir des pipelines de quarantaine sans perte de données pour auditer et gérer les enregistrements non valides.

Languages Available: English | 日本語 | Português BR | 한국어

Introduction to Python for Data Science and Data Engineering - French

Ce cours est destiné aux débutants complets en Python afin de fournir les bases de l'interaction programmatique avec les données. Le cours commence par une introduction aux expressions de programmation, aux variables et aux types de données. Il aborde ensuite les instructions conditionnelles et de contrôle, les fonctions, les types Collection, les boucles, la gestion des erreurs et les classes. Vous apprendrez à étendre Python avec des bibliothèques externes et acquerrez de l'expérience dans l'utilisation de la bibliothèque Pandas pour l'analyse et la visualisation de données, notamment en faisant évoluer les Workflows Pandas avec Apache Spark. Enfin, vous explorerez les fondamentaux du cloud computing. Tout au long du cours, vous acquerrez une pratique concrète grâce à des exercices de laboratoire, avec des ressources supplémentaires pour approfondir vos connaissances en programmation après la formation.