Feature Engineering at Scale - French

Unity Gateway étend la gouvernance de Unity Catalog au trafic IA. Unity Catalog régit déjà vos modèles, services MCP, fonctions et connexions en tant qu'objets sécurisables ; Unity Gateway ajoute un Control Plane centralisé sur le trafic qui leur est destiné, en appliquant le routage, les limites de débit, les budgets, le suivi de l'utilisation et les **politiques de service** (garde-fous) à chaque requête et réponse.

Ce lab présente les fondamentaux à travers un court exposé, puis les met en pratique lors d'une démonstration guidée. Dans cette démonstration, vous gouvernez une application agentique réelle — qui génère des diagrammes natifs Databricks sous forme de code — en la faisant transiter par Unity Gateway et en renforçant progressivement sa gouvernance : création d'un service de modèle, attribution de permissions, ajout de tables d'inférence, limites de débit, une politique de garde-fou contre les hallucinations, répartition du trafic entre les modèles Claude, et routage avec solution de secours. Enfin, vous explorez les schémas `system.ai` et `system.ai_gateway` pour voir comment la télémétrie et l'observabilité complètent la journalisation des inférences au niveau des charges utiles.

À l'issue du lab, vous comprendrez comment la gouvernance des ressources, du trafic et des comportements se combinent en un seul Control Plane pour l'IA, et comment appliquer ces contrôles à une application d'IA générative de type production sur Databricks.

Remarque : Pour les fichiers de cours SCORM, veillez à fermer la fenêtre SCORM une fois le contenu terminé. Ne cliquez pas sur le bouton « Leçon suivante », car cela pourrait empêcher le module SCORM d’être marqué comme terminé.

Ce cours explore les Apache Spark Declarative Pipelines (SDP) de Databricks pour la création de pipelines streaming en production. Vous apprendrez des modèles de conception avancés, l'application rigoureuse de la qualité des données et l'intégration multiplateforme, essentiels pour l'ingénierie lakehouse en conditions réelles.

Tout au long du cours, vous plongerez dans les techniques modernes d'Ingestion de données et de traitement, en maîtrisant des outils tels que le clustering liquide pour l'optimisation de la Disposition et le modèle Multiplex Streaming pour les événements à schémas mixtes. À l'issue des modules, vous saurez gérer en toute confiance l'évolution du schéma, automatiser le change data capture (CDC) et garantir l'Intégrité des données.

Remarque :

Ce cours est le premier de la série 'Advanced Data Engineering with Databricks'.Pour les fichiers de cours SCORM, veuillez fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton ‘Next Lesson’, car cela pourrait empêcher le module SCORM d’être marqué comme terminé.

Ce cours enseigne les fondamentaux de la préparation des données pour le machine learning traditionnel sur Databricks. Les apprenants chargent des données dans des tables Delta régies par Unity Catalog et les explorent à l'aide de Notebooks, de visualisations intégrées et de Genie Code. Ils nettoient ensuite les Données nettoyées, gèrent les valeurs manquantes et les valeurs aberrantes, les divisent et les échantillonnent sans fuite de données, et construisent des Pipelines ML reproductibles avec Spark pour l'imputation, l'encodage et la standardisation. Enfin, ils stockent, gouvernent et réutilisent les fonctionnalités grâce à l'Ingénierie des caractéristiques dans Unity Catalog. Cela inclut les recherches ponctuelles dans le temps pour des ensembles d'entraînement sans fuite de données, ainsi qu'une introduction au service de fonctionnalités en ligne avec les Online Feature Stores reposant sur Lakebase. Chaque module combine des cours magistraux avec des démonstrations pratiques et un atelier qui s'exécutent sur du compute serverless. L'entraînement, le service et le monitoring des modèles ne sont pas abordés ; ils sont enseignés dans les cours Machine Learning Model Development et Machine Learning Model Deployment. Ce cours est conçu pour les data scientists de niveau associé et les praticiens du machine learning qui souhaitent acquérir des bases solides en préparation des données sur Databricks.

Remarque :

1. Il s’agit du premier cours de la série « Machine Learning avec Databricks ».

2. Pour les fichiers de cours SCORM, veillez à fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton « Leçon suivante », car cela pourrait empêcher le module SCORM d’être marqué comme terminé.