Databricks Performance Optimization - French

Une formation en deux parties pour bien utiliser un assistant IA d'entreprise. La partie 01 (Fondamentaux) explique comment la précision des invites influence la qualité des réponses, présente l'assistant comme un stagiaire brillant mais littéral, ancré dans la connaissance interne grâce à une architecture RAG, couvre ce à quoi il peut et ne peut pas accéder, insiste sur une approche de confiance avec vérification, et introduit le Cadre C-O-I-E (Contexte, Résultat, Instruction, Exemple). La partie 02 (Techniques) constitue une boîte à outils de techniques d'invite et enseigne comment choisir parmi elles : l'adéquation des tâches aux approches, la génération de contenu (zero-shot et few-shot), le raisonnement (chain-of-thought, self-ask, meta-prompting), le workflow (chaînage d'invites et choix entre chaîner ou utiliser une invite unique), ainsi que la structuration claire des invites.

Dans ce cours, vous apprendrez à concevoir, implémenter et gouverner les structures de catalog et l'organisation de données à grande échelle sur la Databricks Data Intelligence Platform. Il offre une vue complète d'Unity Catalog comme couche de gouvernance centralisée pour un lakehouse d'entreprise. Divisé en cinq modules, il commence par placer Unity Catalog dans le modèle de déploiement cloud — couvrant la Account Console, création de metastore et hiérarchie de rôles d'administrateur. Vous traduirez ensuite la topologie organisationnelle (unités commerciales, régions et environnements dev/QA/prod) en une conception évolutive de catalog et schema utilisant les conventions de nommage, patterns de propriété et délégation MANAGE. Le cours couvre ensuite l'intégration de stockage sécurisée avec credentials de stockage, emplacements externes, hiérarchie managed-storage, tables gérées versus externes et UC Volumes pour les données non-tabulaires. Ensuite, vous appliquerez les patterns d'accès et stratégies d'isolation — la chaîne GRANT à trois niveaux, liaison workspace-catalog et politiques Attribute-Based Access Control (ABAC) au niveau schema — pour faire respecter la protection de données à grain fin à grande échelle. Enfin, le cours se termine par les meilleures pratiques pour la conception de catalog, automation, permissions de moindre privilège et gestion d'accès basée sur les groupes. 

Remarque : Pour les fichiers de cours SCORM, veillez à fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton « Leçon suivante », car cela pourrait empêcher le module SCORM d’être marqué comme terminé.

Dans ce cours, vous apprendrez à concevoir et à mettre en œuvre des workflows machine learning qui passent d'une seule machine à un compute distribué sur Databricks. Le programme est organisé en trois modules : les fondements du développement de modèles (quand et pourquoi distribuer, et comment Spark exécute les tâches), le développement de modèles à grande échelle avec Spark ML et MLflow, et l'entraînement distribué de modèles avec Ray et PyTorch — en terminant par un cadre permettant de choisir le bon outil pour un workload donné.

À travers des démonstrations pratiques et des travaux dirigés, vous construirez des Pipelines ML Spark distribués à l'aide de Transformers, d'Estimators et du paradigme fit/transform ; vous effectuerez la mise à l'échelle de code Pandas existant avec l'API Pandas sur Spark ; et vous suivrez, comparerez et gouvernerez des expériences avec MLflow 3 et Unity Catalog. Vous entraînerez ensuite des modèles sur l'ensemble d'un cluster avec Ray Train et PyTorch (TorchDistributor et DeepSpeed), et apprendrez à associer chaque workload au bon cadre en fonction de la taille des données, de la taille du modèle, du matériel et des coûts.

Le cours se conclut par un projet de synthèse traitant un problème de bout en bout — ingénierie des variables, entraînement d'un modèle à grande échelle, suivi avec MLflow, et enregistrement dans Unity Catalog avec un alias de gouvernance. (Le déploiement en production, le serving et le monitoring sont traités dans le cours Advanced MLOps distinct.)

À l'issue de ce cours, vous serez en mesure de choisir, de construire et de justifier des workflows de développement de modèles distribués, reproductibles et gouvernés sur Databricks.

Remarque : Pour les fichiers de cours SCORM, veillez à fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton « Next Lesson », car cela pourrait empêcher le module SCORM d’être marqué comme terminé.