Revenir au contenu principal

Build Data Pipelines with Apache Spark Declarative Pipelines - French

Ce cours présente aux utilisateurs les concepts et compétences essentiels nécessaires à la création de pipelines de données à l'aide d'Apache Spark™ Declarative Pipelines (SDP) dans Databricks, pour l'ingestion et le traitement incrémentiels par lots ou en streaming à travers plusieurs tables de streaming et vues matérialisées. Conçu pour les ingénieurs de données novices en Spark Declarative Pipelines, le cours offre un aperçu complet des composants fondamentaux tels que le traitement incrémentiel des données, les tables de streaming, les vues matérialisées et les vues temporaires, en mettant en évidence leurs objectifs spécifiques et leurs différences.


Les sujets abordés comprennent :

• Développer et déboguer des pipelines ETL avec l'éditeur multifichier de Spark Declarative Pipelines en SQL (avec des exemples de code Python fournis)

• Comment Spark Declarative Pipelines suit les dépendances de données d'un pipeline via le graphe du pipeline

• Configurer les ressources de calcul du pipeline, les ressources de données, les modes de déclenchement et d'autres options avancées


Ensuite, le cours présente les expectations de qualité des données dans Spark Declarative Pipelines, guidant les utilisateurs dans le processus d'intégration des expectations aux pipelines afin de valider et de garantir l'intégrité des données. Les apprenants découvriront ensuite comment mettre un pipeline en production, y compris les options de planification, et comment activer la journalisation des événements du pipeline pour surveiller ses performances et son état de santé.


Enfin, le cours explique comment implémenter le Change Data Capture (CDC) à l'aide de la syntaxe AUTO CDC INTO dans Spark Declarative Pipelines pour gérer les dimensions à évolution lente (SCD Type 1 et Type 2), préparant les utilisateurs à intégrer le CDC dans leurs propres pipelines.


Remarque : Pour les fichiers de cours SCORM, veuillez fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton ‘Next Lesson’, car cela pourrait empêcher le module SCORM d’être marqué comme terminé.

Skill Level
Associate
Duration
3h
Prerequisites

Dans ce cours, le contenu a été élaboré pour des participants possédant les compétences, connaissances et aptitudes suivantes : 

• Compréhension de base de la plateforme Databricks Data Intelligence, y compris les espaces de travail Databricks, Apache Spark, Delta Lake, l'architecture Medallion, Lakeflow Jobs et Unity Catalog.

• Expérience de l'ingestion de données brutes dans des tables Delta, y compris l'utilisation de la fonction SQL read_files pour charger des formats tels que CSV, JSON, TXT et Parquet.

• Maîtrise de la transformation des données en SQL, y compris l'écriture de requêtes de niveau intermédiaire et une compréhension de base des jointures SQL.

• Compréhension des concepts ETL et des workflows par lots/streaming.

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Inscrivez-vous maintenant

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Inscrivez-vous maintenant

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Catalog Management and Data Organization - French

Dans ce cours, vous apprendrez à concevoir, mettre en œuvre et gérer des structures de Catalogue ainsi que l'organisation de données à grande échelle avec Unity Catalog sur la plateforme Databricks Data and AI. Divisé en cinq modules, il commence par situer Unity Catalog dans le modèle de déploiement cloud, en couvrant la console de compte, les métastores régionaux et les rôles d'administrateur qui le rendent opérationnel. Vous traduirez ensuite la topologie organisationnelle (unités métier, régions et environnements dev/QA/prod) en une conception de Catalogue et de schéma évolutive, avec des conventions de nommage, la propriété et la délégation MANAGE. Le cours aborde ensuite l'intégration sécurisée du stockage, avec les identifiants de stockage, les emplacements externes, la hiérarchie de stockage géré, les tables gérées par opposition aux tables externes, les Volumes et Lakehouse Federation. Vous appliquerez ensuite des modèles d'accès et des stratégies d'isolation, notamment la liaison workspace-Catalogue, l'héritage de privilèges, les filtres de lignes, les masques de colonnes et les politiques de contrôle d'accès basé sur les attributs (ABAC), et vous validerez les résultats à l'aide de signaux d'audit. Enfin, le cours se conclut par les bonnes pratiques de conception, de gouvernance et d'exploitation d'un patrimoine Unity Catalog. Les démonstrations pratiques et les travaux dirigés s'exécutent sur du compute serverless et comprennent de courtes étapes Genie Code.

Remarque : Pour les fichiers de cours SCORM, veillez à fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton « Leçon suivante », car cela pourrait empêcher le module SCORM d’être marqué comme terminé.

Paid & Subscription
3h
Lab
Associate
Machine Learning Practitioner

Data Preparation for Machine Learning - French

Ce cours enseigne les fondamentaux de la préparation des données pour le machine learning traditionnel sur Databricks. Les apprenants chargent des données dans des tables Delta régies par Unity Catalog et les explorent à l'aide de Notebooks, de visualisations intégrées et de Genie Code. Ils nettoient ensuite les Données nettoyées, gèrent les valeurs manquantes et les valeurs aberrantes, les divisent et les échantillonnent sans fuite de données, et construisent des Pipelines ML reproductibles avec Spark pour l'imputation, l'encodage et la standardisation. Enfin, ils stockent, gouvernent et réutilisent les fonctionnalités grâce à l'Ingénierie des caractéristiques dans Unity Catalog. Cela inclut les recherches ponctuelles dans le temps pour des ensembles d'entraînement sans fuite de données, ainsi qu'une introduction au service de fonctionnalités en ligne avec les Online Feature Stores reposant sur Lakebase. Chaque module combine des cours magistraux avec des démonstrations pratiques et un atelier qui s'exécutent sur du compute serverless. L'entraînement, le service et le monitoring des modèles ne sont pas abordés ; ils sont enseignés dans les cours Machine Learning Model Development et Machine Learning Model Deployment. Ce cours est conçu pour les data scientists de niveau associé et les praticiens du machine learning qui souhaitent acquérir des bases solides en préparation des données sur Databricks.

Remarque :

1. Il s’agit du premier cours de la série « Machine Learning avec Databricks ».

2. Pour les fichiers de cours SCORM, veillez à fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton « Leçon suivante », car cela pourrait empêcher le module SCORM d’être marqué comme terminé.

Paid & Subscription
3h
Lab
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.