Databricks Fundamentals - French

Ce cours présente aux utilisateurs les concepts et compétences essentiels nécessaires à la création de pipelines de données à l'aide d'Apache Spark™ Declarative Pipelines (SDP) dans Databricks, pour l'ingestion et le traitement incrémentiels par lots ou en streaming à travers plusieurs tables de streaming et vues matérialisées. Conçu pour les ingénieurs de données novices en Spark Declarative Pipelines, le cours offre un aperçu complet des composants fondamentaux tels que le traitement incrémentiel des données, les tables de streaming, les vues matérialisées et les vues temporaires, en mettant en évidence leurs objectifs spécifiques et leurs différences.

Les sujets abordés comprennent :

• Développer et déboguer des pipelines ETL avec l'éditeur multifichier de Spark Declarative Pipelines en SQL (avec des exemples de code Python fournis)

• Comment Spark Declarative Pipelines suit les dépendances de données d'un pipeline via le graphe du pipeline

• Configurer les ressources de calcul du pipeline, les ressources de données, les modes de déclenchement et d'autres options avancées

Ensuite, le cours présente les expectations de qualité des données dans Spark Declarative Pipelines, guidant les utilisateurs dans le processus d'intégration des expectations aux pipelines afin de valider et de garantir l'intégrité des données. Les apprenants découvriront ensuite comment mettre un pipeline en production, y compris les options de planification, et comment activer la journalisation des événements du pipeline pour surveiller ses performances et son état de santé.

Enfin, le cours explique comment implémenter le Change Data Capture (CDC) à l'aide de la syntaxe AUTO CDC INTO dans Spark Declarative Pipelines pour gérer les dimensions à évolution lente (SCD Type 1 et Type 2), préparant les utilisateurs à intégrer le CDC dans leurs propres pipelines.

Remarque : Pour les fichiers de cours SCORM, veuillez fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton ‘Next Lesson’, car cela pourrait empêcher le module SCORM d’être marqué comme terminé.

Ce cours propose une revue approfondie des principes DevOps et de leur application aux projets Databricks. Il commence par un aperçu des concepts fondamentaux de DevOps, DataOps, intégration continue (CI), déploiement continu (CD) et tests, et explore comment ces principes peuvent s'appliquer aux pipelines d'ingénierie des données.

Le cours se concentre ensuite sur le déploiement continu au sein du processus CI/CD, en examinant des outils tels que l'API REST, le SDK et le CLI Databricks pour le déploiement de projets. Vous découvrirez les Declarative Automation Bundles (DABs) et leur place dans le processus CI/CD. Vous approfondirez leurs composants clés, la structure des dossiers et la façon dont ils accélèrent le déploiement dans divers environnements cibles sur Databricks. Vous apprendrez également à ajouter des variables, modifier, valider, déployer et exécuter des Declarative Automation Bundles pour plusieurs environnements avec différentes configurations via le CLI Databricks.

Enfin, le cours présente Visual Studio Code comme environnement de développement interactif (IDE) pour construire, tester et déployer des Declarative Automation Bundles localement, en optimisant le processus de développement. Le cours se termine par une introduction à l'automatisation des pipelines de déploiement avec GitHub Actions afin d'améliorer le flux de travail CI/CD avec les Declarative Automation Bundles.

À la fin de ce cours, vous serez prêt à automatiser les déploiements de projets Databricks avec les Declarative Automation Bundles, en améliorant l'efficacité grâce aux pratiques DevOps.

Remarque :

Databricks Academy passe des cours vidéo à un format PDF plus épuré, comprenant des diapositives et des notes, pour tous les cours à votre rythme. Veuillez noter que les vidéos de démonstration resteront disponibles dans leur format d’origine. Nous aimerions beaucoup connaître votre avis sur ce changement ; veuillez donc nous faire part de vos commentaires via l’enquête du cours à la fin. Merci de faire partie de notre communauté d’apprentissage !Ce cours est le quatrième de la série 'Advanced Data Engineering with Databricks'.

Databricks Apps permet de créer et de déployer des applications de données et d'IA interactives directement sur la plateforme Databricks. Mais le développement assisté par IA ne se résume pas à la génération de code — il s'agit avant tout de développer un workflow efficace.

Dans ce cours pratique, vous construirez une application Databricks Apps s'appuyant sur Lakebase, de bout en bout, en utilisant Genie Code comme assistant de développement IA. Au fil du cours, vous apprendrez une approche pratique et reproductible du développement assisté par IA : spécifier clairement l'intention avant de générer du code, travailler par petits incréments vérifiables, exploiter des compétences Genie Code réutilisables, et considérer les résultats générés par l'IA comme des éléments à examiner et à affiner — et non à accepter sans réserve.

Vous créerez et déploierez une application Databricks Apps, provisionnerez et connecterez une base de données Lakebase comme magasin transactionnel, implémenterez des opérations CRUD, et utiliserez Genie Code pour accélérer les tâches de développement courantes. À l'issue du cours, vous disposerez non seulement d'une application fonctionnelle, mais également d'un cadre pratique pour collaborer efficacement avec l'IA sur de futurs projets software.

Remarque : Pour les fichiers de cours SCORM, veuillez fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton « Leçon suivante », car cela pourrait empêcher le module SCORM d’être marqué comme terminé.