Stream Processing and Analysis with Apache Spark™ - French

Ce cours explore les Pipeline déclaratifs Apache Spark (SDP) de Databricks pour la création de pipelines streaming de qualité production. Vous apprendrez des modèles de conception avancés, une application robuste de la qualité des données et une intégration multiplateforme essentiels pour l'ingénierie lakehouse en conditions réelles.

Tout au long du cours, vous plongerez dans les techniques modernes d'Ingestion de données et de traitement, en maîtrisant des outils tels que le clustering liquide pour l'optimisation de la Disposition et le modèle de streaming Multiplex pour les événements à schémas mixtes. À la fin des modules, vous saurez gérer en toute confiance l'évolution du schéma, automatiser le change data capture (CDC) et garantir l'Intégrité des données.

À travers des cours magistraux et des démonstrations pratiques, vous allez :

• Construire des pipelines multi-flux pour ingérer des données multi-sources dans une table Bronze unifiée.

• Appliquer le clustering liquide et les attentes de qualité des données sur les couches Argent et gold.

• Implémenter le modèle Multiplex avec Iceberg UniForm pour un accès aux données multiplateforme.

• Automatiser le suivi de l'historique SCD de type 2 à l'aide d'AUTO CDC INTO.

• Concevoir des pipelines de quarantaine sans perte de données pour auditer et gérer les enregistrements non valides.

Remarque :

Ce cours est le premier de la série 'Advanced Data Engineering with Databricks'.Pour les fichiers de cours SCORM, veuillez fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton ‘Next Lesson’, car cela pourrait empêcher le module SCORM d’être marqué comme terminé.

Databricks Performance Optimization enseigne aux ingénieurs et analystes de données comment diagnostiquer, mesurer et résoudre les goulots d'étranglement de performance sur la Databricks Data Intelligence Platform, et comment relier les améliorations de performance aux coûts. Le cours suit un workflow axé sur la mesure en priorité et la plateforme en priorité : laisser les optimisations automatiques de la plateforme effectuer le gros du travail, vérifier ce qui a été appliqué à l'aide de Query Profile et des tables système, puis effectuer un réglage manuel si nécessaire.

Les apprenants construisent une base pour mesurer la performance avec Query Profile, Performance Insights et les tables système de l'historique des requêtes. À partir de là, ils explorent des techniques d'optimisation clés, notamment la Disposition des données et les tables gérées auto-ajustables, le clustering liquide, la mise en cache et les résultats intermédiaires, le shuffle, le skew, le spill, les explosions de lignes, la performance du driver, les Python UDFs, le serverless compute, Photon et l'attribution des coûts.

Tout au long du cours, les apprenants explorent des requêtes délibérément lentes sur des données de vente au détail synthétiques et observent comment différentes techniques d'optimisation influent sur la performance. Ils utilisent des indicateurs tels que l'élagage de fichiers, le temps d'exécution des tâches, la couverture Photon et les coûts pour évaluer les améliorations. Deux ateliers basés sur des scénarios renforcent le workflow d'optimisation, du diagnostic jusqu'à la validation.

Remarque : Pour les fichiers de cours SCORM, veuillez fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton ‘Next Lesson’, car cela pourrait empêcher le module SCORM d’être marqué comme terminé.

Une formation en deux parties pour bien utiliser un assistant IA d'entreprise. La partie 01 (Fondamentaux) explique comment la précision des invites influence la qualité des réponses, présente l'assistant comme un stagiaire brillant mais littéral, ancré dans la connaissance interne grâce à une architecture RAG, couvre ce à quoi il peut et ne peut pas accéder, insiste sur une approche de confiance avec vérification, et introduit le Cadre C-O-I-E (Contexte, Résultat, Instruction, Exemple). La partie 02 (Techniques) constitue une boîte à outils de techniques d'invite et enseigne comment choisir parmi elles : l'adéquation des tâches aux approches, la génération de contenu (zero-shot et few-shot), le raisonnement (chain-of-thought, self-ask, meta-prompting), le workflow (chaînage d'invites et choix entre chaîner ou utiliser une invite unique), ainsi que la structuration claire des invites.