Building ETL Pipelines with SQL - French

Dans ce cours, vous apprendrez à concevoir, implémenter et gouverner les structures de catalog et l'organisation de données à grande échelle sur la Databricks Data Intelligence Platform. Il offre une vue complète d'Unity Catalog comme couche de gouvernance centralisée pour un lakehouse d'entreprise. Divisé en cinq modules, il commence par placer Unity Catalog dans le modèle de déploiement cloud — couvrant la Account Console, création de metastore et hiérarchie de rôles d'administrateur. Vous traduirez ensuite la topologie organisationnelle (unités commerciales, régions et environnements dev/QA/prod) en une conception évolutive de catalog et schema utilisant les conventions de nommage, patterns de propriété et délégation MANAGE. Le cours couvre ensuite l'intégration de stockage sécurisée avec credentials de stockage, emplacements externes, hiérarchie managed-storage, tables gérées versus externes et UC Volumes pour les données non-tabulaires. Ensuite, vous appliquerez les patterns d'accès et stratégies d'isolation — la chaîne GRANT à trois niveaux, liaison workspace-catalog et politiques Attribute-Based Access Control (ABAC) au niveau schema — pour faire respecter la protection de données à grain fin à grande échelle. Enfin, le cours se termine par les meilleures pratiques pour la conception de catalog, automation, permissions de moindre privilège et gestion d'accès basée sur les groupes. 

Remarque : La Databricks Academy est en train de passer à un format basé sur des notebooks pour les sessions en classe au sein de l'environnement Databricks, en abandonnant l'utilisation de présentations de diapositives pour les cours. Vous pouvez accéder aux notebooks de cours dans l'environnement de laboratoire Vocareum.

Ce cours complet offre un guide pratique pour développer des modèles de machine learning traditionnels sur Databricks, en mettant l'accent sur des démonstrations pratiques et des workflows utilisant les bibliothèques de ML les plus courantes. Les participants exploreront des techniques de ML essentielles, notamment la régression et le clustering, tout en tirant parti des puissantes capacités de Databricks. Le cours couvre l'intégration de MLflow pour le suivi des modèles, le Databricks Feature Store pour la gestion des features, et Optuna pour l'optimisation des hyperparamètres. Les participants apprendront en outre à accélérer le développement de modèles avec Genie Code, l'assistant de codage IA de Databricks qui utilise le langage naturel, des connexions MCP, des instructions et des compétences pour guider l'ensemble du cycle de vie du ML. À la fin du cours, les apprenants disposeront de compétences pratiques et concrètes pour développer, optimiser et déployer efficacement des modèles de machine learning dans l'environnement Databricks.

Ce cours vous apprend à concevoir, créer et gérer un espace Databricks Genie (Genie Space), une interface en langage naturel permettant aux utilisateurs métier de poser des questions sur des données gouvernées et d'obtenir des réponses basées sur SQL, sans avoir à écrire de code.

Vous découvrirez la place de Genie au sein de la gamme de produits Databricks AI/BI et la manière dont l'outil traduit le langage naturel en requêtes SQL fiables. La formation met l'accent sur les étapes nécessaires à la création d'un espace Genie fournissant des résultats précis, cohérents et dignes de confiance.

Vous suivrez un flux de travail complet, de la compréhension des données sources et de la définition de points de référence jusqu'à la configuration et l'affinage d'un espace Genie, en utilisant l'ensemble des outils de curation du « Knowledge Store ». Ces outils incluent la gestion des métadonnées, des synonymes, de la correspondance des prompts, de la logique SQL, des exemples de requêtes et des instructions textuelles.

Vous apprendrez également à partager les espaces Genie avec les utilisateurs métier via Databricks One, à comprendre comment la gouvernance d'Unity Catalog est appliquée automatiquement, et à utiliser la surveillance ainsi que les retours des utilisateurs pour améliorer continuellement la qualité au fil du temps.

À l'issue de ce cours, vous serez capable de créer et de gérer un espace Genie prêt pour la production, offrant des analyses conversationnelles en libre-service et gouvernées, à grande échelle.

Remarque : Databricks Academy passe à un format basé sur des cahiers de travail pour les sessions en présentiel au sein de l'environnement Databricks, et abandonne ainsi l'utilisation de présentations PowerPoint pour les cours magistraux. Vous pouvez accéder aux cahiers de travail des cours dans l'environnement de laboratoire Vocareum.