Developing Applications with Apache Spark™ - French

Databricks Performance Optimization enseigne aux ingénieurs et analystes de données comment diagnostiquer, mesurer et résoudre les goulots d'étranglement de performance sur la Databricks Data Intelligence Platform, et comment relier les améliorations de performance aux coûts. Le cours suit un workflow axé sur la mesure en priorité et la plateforme en priorité : laisser les optimisations automatiques de la plateforme effectuer le gros du travail, vérifier ce qui a été appliqué à l'aide de Query Profile et des tables système, puis effectuer un réglage manuel si nécessaire.

Les apprenants construisent une base pour mesurer la performance avec Query Profile, Performance Insights et les tables système de l'historique des requêtes. À partir de là, ils explorent des techniques d'optimisation clés, notamment la Disposition des données et les tables gérées auto-ajustables, le clustering liquide, la mise en cache et les résultats intermédiaires, le shuffle, le skew, le spill, les explosions de lignes, la performance du driver, les Python UDFs, le serverless compute, Photon et l'attribution des coûts.

Tout au long du cours, les apprenants explorent des requêtes délibérément lentes sur des données de vente au détail synthétiques et observent comment différentes techniques d'optimisation influent sur la performance. Ils utilisent des indicateurs tels que l'élagage de fichiers, le temps d'exécution des tâches, la couverture Photon et les coûts pour évaluer les améliorations. Deux ateliers basés sur des scénarios renforcent le workflow d'optimisation, du diagnostic jusqu'à la validation.

Remarque : Pour les fichiers de cours SCORM, veuillez fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton ‘Next Lesson’, car cela pourrait empêcher le module SCORM d’être marqué comme terminé.

Ce cours se concentre sur les fondamentaux de la préparation des données pour le machine learning avec Databricks. Les participants acquerront les compétences essentielles pour explorer, nettoyer et organiser les données en vue d'applications de machine learning traditionnelles. Les sujets clés comprennent la visualisation des données, l'Ingénierie des caractéristiques et les stratégies optimales de stockage des fonctionnalités. Grâce à des exercices pratiques, les participants acquerront une expérience concrète dans la préparation efficace de jeux de données pour le machine learning au sein de Databricks. Ce cours est conçu pour les data scientists de niveau associé et les praticiens du machine learning, ainsi que pour les personnes souhaitant renforcer leurs compétences en préparation des données, garantissant ainsi une base solide pour le déploiement Réussi d'un Modèle de machine learning.

Remarque :

1. Il s’agit du premier cours de la série « Machine Learning avec Databricks ».

2. Pour les fichiers de cours SCORM, veillez à fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton « Leçon suivante », car cela pourrait empêcher le module SCORM d’être marqué comme terminé.

Dans ce cours, vous apprendrez à concevoir, implémenter et gouverner les structures de catalog et l'organisation de données à grande échelle sur la Databricks Data Intelligence Platform. Il offre une vue complète d'Unity Catalog comme couche de gouvernance centralisée pour un lakehouse d'entreprise. Divisé en cinq modules, il commence par placer Unity Catalog dans le modèle de déploiement cloud — couvrant la Account Console, création de metastore et hiérarchie de rôles d'administrateur. Vous traduirez ensuite la topologie organisationnelle (unités commerciales, régions et environnements dev/QA/prod) en une conception évolutive de catalog et schema utilisant les conventions de nommage, patterns de propriété et délégation MANAGE. Le cours couvre ensuite l'intégration de stockage sécurisée avec credentials de stockage, emplacements externes, hiérarchie managed-storage, tables gérées versus externes et UC Volumes pour les données non-tabulaires. Ensuite, vous appliquerez les patterns d'accès et stratégies d'isolation — la chaîne GRANT à trois niveaux, liaison workspace-catalog et politiques Attribute-Based Access Control (ABAC) au niveau schema — pour faire respecter la protection de données à grain fin à grande échelle. Enfin, le cours se termine par les meilleures pratiques pour la conception de catalog, automation, permissions de moindre privilège et gestion d'accès basée sur les groupes. 

Remarque : Pour les fichiers de cours SCORM, veillez à fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton « Leçon suivante », car cela pourrait empêcher le module SCORM d’être marqué comme terminé.