Introduction to Python for Data Science and Data Engineering - French

Ce cours explore les Apache Spark Declarative Pipelines (SDP) de Databricks pour la création de pipelines streaming en production. Vous apprendrez des modèles de conception avancés, l'application rigoureuse de la qualité des données et l'intégration multiplateforme, essentiels pour l'ingénierie lakehouse en conditions réelles.

Tout au long du cours, vous plongerez dans les techniques modernes d'Ingestion de données et de traitement, en maîtrisant des outils tels que le clustering liquide pour l'optimisation de la Disposition et le modèle Multiplex Streaming pour les événements à schémas mixtes. À l'issue des modules, vous saurez gérer en toute confiance l'évolution du schéma, automatiser le change data capture (CDC) et garantir l'Intégrité des données.

Remarque : 

1. Ce cours fait partie de la série de cours « Ingénierie des données avancée avec Databricks ».

2. Databricks Academy passe à un format basé sur des notebooks pour les sessions en classe dans l’environnement Databricks et abandonne l’utilisation de présentations pour les cours. Vous pouvez accéder aux notebooks de cours dans l’environnement de laboratoire Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话

Dans ce cours, vous apprendrez à concevoir, mettre en œuvre et gérer des structures de Catalogue ainsi que l'organisation de données à grande échelle avec Unity Catalog sur la plateforme Databricks Data and AI. Divisé en cinq modules, il commence par situer Unity Catalog dans le modèle de déploiement cloud, en couvrant la console de compte, les métastores régionaux et les rôles d'administrateur qui le rendent opérationnel. Vous traduirez ensuite la topologie organisationnelle (unités métier, régions et environnements dev/QA/prod) en une conception de Catalogue et de schéma évolutive, avec des conventions de nommage, la propriété et la délégation MANAGE. Le cours aborde ensuite l'intégration sécurisée du stockage, avec les identifiants de stockage, les emplacements externes, la hiérarchie de stockage géré, les tables gérées par opposition aux tables externes, les Volumes et Lakehouse Federation. Vous appliquerez ensuite des modèles d'accès et des stratégies d'isolation, notamment la liaison workspace-Catalogue, l'héritage de privilèges, les filtres de lignes, les masques de colonnes et les politiques de contrôle d'accès basé sur les attributs (ABAC), et vous validerez les résultats à l'aide de signaux d'audit. Enfin, le cours se conclut par les bonnes pratiques de conception, de gouvernance et d'exploitation d'un patrimoine Unity Catalog. Les démonstrations pratiques et les travaux dirigés s'exécutent sur du compute serverless et comprennent de courtes étapes Genie Code.

Remarque : La Databricks Academy est en train de passer à un format basé sur des notebooks pour les sessions en classe au sein de l'environnement Databricks, en abandonnant l'utilisation de présentations de diapositives pour les cours. Vous pouvez accéder aux notebooks de cours dans l'environnement de laboratoire Vocareum.

Databricks Performance Optimization enseigne aux ingénieurs et analystes de données comment diagnostiquer, mesurer et résoudre les goulots d'étranglement de performance sur la Databricks Data Intelligence Platform, et comment relier les améliorations de performance aux coûts. Le cours suit un workflow axé sur la mesure en priorité et la plateforme en priorité : laisser les optimisations automatiques de la plateforme effectuer le gros du travail, vérifier ce qui a été appliqué à l'aide de Query Profile et des tables système, puis effectuer un réglage manuel si nécessaire.

Les apprenants construisent une base pour mesurer la performance avec Query Profile, Performance Insights et les tables système de l'historique des requêtes. À partir de là, ils explorent des techniques d'optimisation clés, notamment la Disposition des données et les tables gérées auto-ajustables, le clustering liquide, la mise en cache et les résultats intermédiaires, le shuffle, le skew, le spill, les explosions de lignes, la performance du driver, les Python UDFs, le serverless compute, Photon et l'attribution des coûts.

Tout au long du cours, les apprenants explorent des requêtes délibérément lentes sur des données de vente au détail synthétiques et observent comment différentes techniques d'optimisation influent sur la performance. Ils utilisent des indicateurs tels que l'élagage de fichiers, le temps d'exécution des tâches, la couverture Photon et les coûts pour évaluer les améliorations. Deux ateliers basés sur des scénarios renforcent le workflow d'optimisation, du diagnostic jusqu'à la validation.

Remarque: Databricks Academy passe à un format basé sur des cahiers de travail pour les sessions en présentiel au sein de l'environnement Databricks, et abandonne ainsi l'utilisation de présentations PowerPoint pour les cours magistraux. Vous pouvez accéder aux cahiers de travail des cours dans l'environnement de laboratoire Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话