Data Engineering with Databricks - French

Ce cours d'introduction constitue un point de départ approprié pour apprendre le Data Engineering avec Databricks.

Ci-dessous, nous décrivons chacun des quatre modules de quatre heures inclus dans ce cours.

Remarque : pour les quatre modules suivants, Databricks Academy adopte progressivement un format basé sur des notebooks pour les sessions en salle de classe au sein de l'environnement Databricks, abandonnant l'utilisation de diaporamas pour les cours. Vous pouvez accéder aux notebooks de cours dans l'environnement de lab Vocareum.

1. Data Ingestion with Lakeflow Connect

Ce cours offre une introduction complète à Lakeflow Connect, une solution évolutive et simplifiée pour ingérer des données dans Databricks à partir d'un large éventail de sources. Vous commencerez par explorer les différents types de connecteurs Lakeflow Connect (Standard et Managed) et découvrirez diverses techniques d'ingestion de données, notamment l'ingestion par batch, par batch incrémentiel et en streaming. Vous passerez également en revue les principaux avantages de l'utilisation de la Delta table et de l'architecture Medallion.

Ensuite, vous développerez des compétences pratiques pour ingérer des données depuis le cloud object storage à l'aide des Lakeflow Connect Standard Connectors. Cela inclut l'utilisation de méthodes telles que CREATE TABLE AS SELECT (CTAS), COPY INTO et Auto Loader, en mettant l'accent sur les avantages et les points à considérer de chaque approche. Vous apprendrez également à ajouter des colonnes de métadonnées à vos tables de niveau bronze lors de l'ingestion dans la Databricks Data Intelligence Platform. Le cours explique ensuite comment traiter les enregistrements qui ne correspondent pas au schema de votre table à l'aide de la colonne rescued data, ainsi que les stratégies de gestion et d'analyse de ces données. Vous explorerez aussi des techniques permettant d'ingérer et d'aplatir des données JSON semi-structurées.

Par la suite, vous découvrirez comment réaliser une ingestion de données de niveau entreprise à l'aide des Lakeflow Connect Managed Connectors afin d'importer des données depuis des bases de données et des applications Software-as-a-Service (SaaS). Le cours présente également Partner Connect comme une option pour intégrer des outils de partenaires à vos charges de travail d'ingestion.

Enfin, le cours se termine par des stratégies d'ingestion alternatives, notamment les opérations MERGE INTO et l'exploitation de Databricks Marketplace, vous dotant ainsi d'une base solide pour prendre en charge les cas d'usage modernes de data engineering.

2. Deploy Workloads with Lakeflow Jobs

Le cours Deploy Workloads with Lakeflow Jobs vous apprend à orchestrer et à automatiser les workflows de données, d'analytics et d'IA à l'aide de Lakeflow Jobs, une plateforme d'orchestration unifiée au sein de l'écosystème Databricks.

• Vous apprendrez à concevoir et à mettre en œuvre des charges de travail de données à l'aide de Directed Acyclic Graphs (DAGs), à configurer diverses options de planification et à implémenter des fonctionnalités de workflow avancées telles que l'exécution conditionnelle de tâches, les dépendances run-if et les boucles for each.

• Le cours couvre les bonnes pratiques pour créer des pipelines robustes et prêts pour la production, avec une sélection appropriée du compute, une orchestration modulaire, des techniques de gestion des erreurs et une conception tolérante aux pannes, le tout intégré nativement à la Databricks Data Intelligence Platform.

3. Build Data Pipelines with Apache Spark Declarative Pipelines

Ce cours présente aux utilisateurs les concepts et les compétences essentiels nécessaires à la création de pipelines de données à l'aide d'Apache Spark Declarative Pipelines (SDP) dans Databricks, pour l'ingestion et le traitement par batch incrémentiel ou en streaming via plusieurs streaming tables et materialized views. Conçu pour les data engineers qui débutent avec Spark Declarative Pipelines, le cours fournit une vue d'ensemble complète des composants principaux tels que le traitement incrémentiel des données, les streaming tables, les materialized views et les temporary views, en soulignant leurs objectifs spécifiques et leurs différences.

Les sujets abordés incluent :

• Le développement et le débogage de pipelines ETL avec l'éditeur multifichier de Spark Declarative Pipelines en SQL (des exemples de code Python sont fournis)

• La manière dont Spark Declarative Pipelines suit les dépendances de données dans un pipeline via le pipeline graph

• La configuration des ressources de compute du pipeline, des actifs de données, des modes de déclenchement et d'autres options avancées

Ensuite, le cours présente les data quality expectations dans Spark Declarative Pipelines et guide les utilisateurs tout au long du processus d'intégration des expectations aux pipelines afin de valider et de garantir l'intégrité des données. Les apprenants découvriront ensuite comment mettre un pipeline en production, y compris les options de planification, et comment activer la journalisation des événements du pipeline pour surveiller ses performances et son état de santé.

Enfin, le cours explique comment implémenter le Change Data Capture (CDC) à l'aide de la syntaxe AUTO CDC INTO dans Spark Declarative Pipelines pour gérer les slowly changing dimensions (SCD Type 1 et Type 2), préparant ainsi les utilisateurs à intégrer le CDC à leurs propres pipelines.

4. DevOps Essentials for Data Engineering

Ce cours explore les bonnes pratiques d'ingénierie logicielle et les principes DevOps, spécialement conçus pour les data engineers travaillant avec Databricks. Les participants acquerront une base solide sur des sujets clés tels que la qualité du code, le contrôle de version, la documentation et les tests. Le cours met l'accent sur le DevOps, en abordant ses composants principaux, ses avantages et le rôle de l'intégration et de la livraison continues (CI/CD) dans l'optimisation des workflows de data engineering.

Vous apprendrez à appliquer les principes de modularité dans PySpark afin de créer des composants réutilisables et de structurer le code de manière efficace. La pratique comprend la conception et la mise en œuvre de tests unitaires pour les fonctions PySpark à l'aide du framework pytest, suivies de tests d'intégration pour les pipelines de données Databricks avec Spark Declarative Pipeline et Jobs afin d'en garantir la fiabilité.

Le cours couvre également les opérations Git essentielles dans Databricks, y compris l'utilisation des Databricks Git Folders pour intégrer les pratiques d'intégration continue. Enfin, vous aurez un aperçu général des différentes méthodes de deployment des actifs Databricks, telles que REST API, CLI, SDK et Declarative Automation Bundles (DABs), ce qui vous permettra de maîtriser les techniques de déploiement et de gestion de vos pipelines.

À la fin du cours, vous maîtriserez les bonnes pratiques d'ingénierie logicielle et de DevOps, ce qui vous permettra de créer des solutions de data engineering évolutives, maintenables et efficaces.

Languages Available: English | 日本語 | Português BR | 한국어 | Español | française