Omnigent Basics - French

Ce cours propose une revue approfondie des principes DevOps et de leur application aux projets Databricks. Il commence par un aperçu des concepts fondamentaux de DevOps, DataOps, intégration continue (CI), déploiement continu (CD) et tests, et explore comment ces principes peuvent s'appliquer aux pipelines d'ingénierie des données.

Le cours se concentre ensuite sur le déploiement continu au sein du processus CI/CD, en examinant des outils tels que l'API REST, le SDK et le CLI Databricks pour le déploiement de projets. Vous découvrirez les Declarative Automation Bundles (DABs) et leur place dans le processus CI/CD. Vous approfondirez leurs composants clés, la structure des dossiers et la façon dont ils accélèrent le déploiement dans divers environnements cibles sur Databricks. Vous apprendrez également à ajouter des variables, modifier, valider, déployer et exécuter des Declarative Automation Bundles pour plusieurs environnements avec différentes configurations via le CLI Databricks.

Enfin, le cours présente Visual Studio Code comme environnement de développement interactif (IDE) pour construire, tester et déployer des Declarative Automation Bundles localement, en optimisant le processus de développement. Le cours se termine par une introduction à l'automatisation des pipelines de déploiement avec GitHub Actions afin d'améliorer le flux de travail CI/CD avec les Declarative Automation Bundles.

À la fin de ce cours, vous serez prêt à automatiser les déploiements de projets Databricks avec les Declarative Automation Bundles, en améliorant l'efficacité grâce aux pratiques DevOps.

Remarque :

Databricks Academy passe des cours vidéo à un format PDF plus épuré, comprenant des diapositives et des notes, pour tous les cours à votre rythme. Veuillez noter que les vidéos de démonstration resteront disponibles dans leur format d’origine. Nous aimerions beaucoup connaître votre avis sur ce changement ; veuillez donc nous faire part de vos commentaires via l’enquête du cours à la fin. Merci de faire partie de notre communauté d’apprentissage !Ce cours est le quatrième de la série 'Advanced Data Engineering with Databricks'.

Ce cours présente aux utilisateurs les concepts et compétences essentiels nécessaires à la création de pipelines de données à l'aide d'Apache Spark™ Declarative Pipelines (SDP) dans Databricks, pour l'ingestion et le traitement incrémentiels par lots ou en streaming à travers plusieurs tables de streaming et vues matérialisées. Conçu pour les ingénieurs de données novices en Spark Declarative Pipelines, le cours offre un aperçu complet des composants fondamentaux tels que le traitement incrémentiel des données, les tables de streaming, les vues matérialisées et les vues temporaires, en mettant en évidence leurs objectifs spécifiques et leurs différences.

Les sujets abordés comprennent :

• Développer et déboguer des pipelines ETL avec l'éditeur multifichier de Spark Declarative Pipelines en SQL (avec des exemples de code Python fournis)

• Comment Spark Declarative Pipelines suit les dépendances de données d'un pipeline via le graphe du pipeline

• Configurer les ressources de calcul du pipeline, les ressources de données, les modes de déclenchement et d'autres options avancées

Ensuite, le cours présente les expectations de qualité des données dans Spark Declarative Pipelines, guidant les utilisateurs dans le processus d'intégration des expectations aux pipelines afin de valider et de garantir l'intégrité des données. Les apprenants découvriront ensuite comment mettre un pipeline en production, y compris les options de planification, et comment activer la journalisation des événements du pipeline pour surveiller ses performances et son état de santé.

Enfin, le cours explique comment implémenter le Change Data Capture (CDC) à l'aide de la syntaxe AUTO CDC INTO dans Spark Declarative Pipelines pour gérer les dimensions à évolution lente (SCD Type 1 et Type 2), préparant les utilisateurs à intégrer le CDC dans leurs propres pipelines.

Remarque : Pour les fichiers de cours SCORM, veuillez fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton ‘Next Lesson’, car cela pourrait empêcher le module SCORM d’être marqué comme terminé.

Ce cours enseigne comment créer des pipelines ETL prêts pour la production en utilisant du SQL pur sur la Databricks Data Intelligence Platform. Les étudiants apprennent les Streaming Tables avec Auto Loader pour l'ingestion incrémentielle, les Vues Matérialisées avec rafraîchissement incrémentiel pour les transformations Bronze vers Argent, l'AUTO CDC (FLOW AUTO CDC) pour la gestion déclarative des dimensions SCD de Type 1 et Type 2, ainsi qu'Apache Spark Declarative Pipelines (SDP) pour regrouper ces objets en pipelines multi-tables de production avec des attentes de qualité des données, des tables PRIVATE et un monitoring unifié. Le cours suit un ensemble de données de vente au détail réaliste à travers la Medallion Architecture (Bronze → Argent → Gold). L'orchestration avec Lakeflow Jobs est disponible en tant que module bonus.

Remarque: pour les fichiers de cours SCORM, veillez à fermer la fenêtre SCORM une fois le contenu terminé. Ne cliquez pas sur le bouton « Next Lesson », car cela pourrait empêcher le module SCORM d'être marqué comme terminé.