Get Started with Databricks for Data Engineering - French

Ce cours explore les meilleures pratiques de software engineering et les principes DevOps, spécifiquement conçu pour les data engineers travaillant avec Databricks. Les participants développeront des bases solides dans des domaines clés tels que la qualité du code, le contrôle de version, la documentation et les tests. Le cours met l'accent sur le DevOps, en couvrant ses composantes essentielles, ses avantages et le rôle de l'intégration et de la livraison continues (CI/CD) dans l'optimisation des Workflows de data engineering.

Vous apprendrez à appliquer les principes de modularité dans PySpark pour créer des composants réutilisables et structurer le code efficacement. Les exercices pratiques comprennent la conception et la mise en œuvre de tests unitaires pour des fonctions PySpark à l'aide du Cadre pytest, suivis de tests d'intégration pour les pipelines de données Databricks avec Spark Declarative Pipeline et Jobs afin de garantir leur fiabilité.

Le cours couvre également les opérations Git essentielles dans Databricks, notamment l'utilisation de Databricks Git Folders pour intégrer les pratiques d'intégration continue. Enfin, vous examinerez de manière générale les différentes méthodes de déploiement des ressources Databricks, telles que REST API, CLI, SDK et Declarative Automation Bundles (DABs), vous fournissant ainsi les connaissances nécessaires pour déployer et gérer vos pipelines.

À la fin du cours, vous maîtriserez les meilleures pratiques de software engineering et de DevOps, vous permettant de créer des solutions de data engineering évolutives, maintenables et efficaces.

Remarque :

Il s’agit du quatrième cours de la série 'Data Engineering with Databricks'.Pour les fichiers de cours SCORM, veuillez fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton ‘Next Lesson’, car cela pourrait empêcher le module SCORM d’être marqué comme terminé.

Dans ce cours, vous apprendrez à concevoir, implémenter et gouverner les structures de catalog et l'organisation de données à grande échelle sur la Databricks Data Intelligence Platform. Il offre une vue complète d'Unity Catalog comme couche de gouvernance centralisée pour un lakehouse d'entreprise. Divisé en cinq modules, il commence par placer Unity Catalog dans le modèle de déploiement cloud — couvrant la Account Console, création de metastore et hiérarchie de rôles d'administrateur. Vous traduirez ensuite la topologie organisationnelle (unités commerciales, régions et environnements dev/QA/prod) en une conception évolutive de catalog et schema utilisant les conventions de nommage, patterns de propriété et délégation MANAGE. Le cours couvre ensuite l'intégration de stockage sécurisée avec credentials de stockage, emplacements externes, hiérarchie managed-storage, tables gérées versus externes et UC Volumes pour les données non-tabulaires. Ensuite, vous appliquerez les patterns d'accès et stratégies d'isolation — la chaîne GRANT à trois niveaux, liaison workspace-catalog et politiques Attribute-Based Access Control (ABAC) au niveau schema — pour faire respecter la protection de données à grain fin à grande échelle. Enfin, le cours se termine par les meilleures pratiques pour la conception de catalog, automation, permissions de moindre privilège et gestion d'accès basée sur les groupes. 

Remarque : Pour les fichiers de cours SCORM, veillez à fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton « Leçon suivante », car cela pourrait empêcher le module SCORM d’être marqué comme terminé.

Ce cours explore les Pipeline déclaratifs Apache Spark (SDP) de Databricks pour la création de pipelines streaming de qualité production. Vous apprendrez des modèles de conception avancés, une application robuste de la qualité des données et une intégration multiplateforme essentiels pour l'ingénierie lakehouse en conditions réelles.

Tout au long du cours, vous plongerez dans les techniques modernes d'Ingestion de données et de traitement, en maîtrisant des outils tels que le clustering liquide pour l'optimisation de la Disposition et le modèle de streaming Multiplex pour les événements à schémas mixtes. À la fin des modules, vous saurez gérer en toute confiance l'évolution du schéma, automatiser le change data capture (CDC) et garantir l'Intégrité des données.

À travers des cours magistraux et des démonstrations pratiques, vous allez :

• Construire des pipelines multi-flux pour ingérer des données multi-sources dans une table Bronze unifiée.

• Appliquer le clustering liquide et les attentes de qualité des données sur les couches Argent et gold.

• Implémenter le modèle Multiplex avec Iceberg UniForm pour un accès aux données multiplateforme.

• Automatiser le suivi de l'historique SCD de type 2 à l'aide d'AUTO CDC INTO.

• Concevoir des pipelines de quarantaine sans perte de données pour auditer et gérer les enregistrements non valides.

Remarque :

Ce cours est le premier de la série 'Advanced Data Engineering with Databricks'.Pour les fichiers de cours SCORM, veuillez fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton ‘Next Lesson’, car cela pourrait empêcher le module SCORM d’être marqué comme terminé.