Stream Processing and Analysis with Apache Spark - French

Databricks Performance Optimization enseigne aux ingénieurs et analystes de données comment diagnostiquer, mesurer et corriger les goulots d'étranglement de performance sur la Databricks Data Intelligence Platform, et comment relier les améliorations de performance aux coûts. Le cours suit un workflow axé sur la mesure en priorité et la plateforme en priorité : laisser les optimisations automatiques de la plateforme effectuer le gros du travail, vérifier ce qui a été appliqué à l'aide du Query Profile et des tables système, puis effectuer un réglage manuel si nécessaire.

Les apprenants construisent une base pour mesurer la performance avec Query Profile, Performance Insights et les tables système de l'historique des requêtes. À partir de là, ils explorent les principales techniques d'optimisation, notamment la disposition des données et les tables gérées auto-réglables, le clustering liquide, la mise en cache et les résultats intermédiaires, le shuffle, le skew, le spill, les explosions de lignes, la performance du driver, les UDF Python, le compute serverless, Photon et l'attribution des coûts.

Tout au long du cours, les apprenants explorent des requêtes délibérément lentes sur des données de vente au détail synthétiques et observent comment différentes techniques d'optimisation affectent la performance. Ils utilisent des éléments probants tels que l'élagage de fichiers, le temps d'exécution des tâches, la couverture Photon et les coûts pour évaluer les améliorations. Deux ateliers basés sur des scénarios renforcent le workflow d'optimisation, du diagnostic jusqu'à la validation.

Remarque: Databricks Academy passe à un format basé sur des cahiers de travail pour les sessions en présentiel au sein de l'environnement Databricks, et abandonne ainsi l'utilisation de présentations PowerPoint pour les cours magistraux. Vous pouvez accéder aux cahiers de travail des cours dans l'environnement de laboratoire Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어

Ce contenu fournit un guide complet pour la gestion de la confidentialité des données dans Databricks. Il couvre des sujets clés tels que l'architecture Delta Lake, l'isolation régionale des données, la conformité RGPD/CCPA, et l'utilisation du flux de données de changement (CDF). À travers des démonstrations pratiques et des travaux dirigés, les participants apprennent à utiliser les fonctionnalités de Unity Catalog pour sécuriser les données sensibles et assurer la conformité, leur permettant ainsi de protéger efficacement l'intégrité des données.

Languages Available: English | 日本語 | Português BR | 한국어

Ce cours s’adresse aux data scientists et aux praticiens du machine learning et se compose de deux modules de quatre heures.

Machine Learning at Scale

Dans ce cours, vous acquerrez des connaissances théoriques et pratiques sur l'architecture d'Apache Spark et son application aux charges de travail de machine learning dans Databricks. Vous apprendrez quand utiliser Spark pour la préparation des données, l'entraînement des modèles et le déploiement, tout en acquérant une expérience pratique avec Spark ML et les APIs Pandas sur Spark. Ce cours vous introduira à des concepts avancés tels que l'optimisation des hyperparamètres et la mise à l'échelle d'Optuna avec Spark. Ce cours utilisera des fonctionnalités et des concepts introduits dans le cours associé, tels que MLflow et Unity Catalog, pour un packaging et une gouvernance complets des modèles.

Advanced Machine Learning Operations

Dans ce cours, vous bénéficierez d'une compréhension complète du cycle de vie du machine learning et du MLOps, en mettant l'accent sur les meilleures pratiques en matière de gestion des données et des modèles, de tests et d'architectures évolutives. Il couvre les composants clés du MLOps, notamment le CI/CD, la gestion des pipelines et la séparation des environnements, tout en présentant les outils Databricks pour l'automatisation et la gestion de l'infrastructure, tels que les Declarative Automation Bundles (DABs), les Lakeflow jobs et le Model Serving. Vous apprendrez les concepts de monitoring, de métriques personnalisées, de détection de dérive, de stratégies de déploiement de modèles, de tests A/B et les principes des systèmes MLOps fiables, offrant une vue globale de la mise en œuvre et de la gestion de projets ML dans Databricks.

Remarque: Databricks Academy passe à un format basé sur des cahiers de travail pour les sessions en présentiel au sein de l'environnement Databricks, et abandonne ainsi l'utilisation de présentations PowerPoint pour les cours magistraux. Vous pouvez accéder aux cahiers de travail des cours dans l'environnement de laboratoire Vocareum.