Advanced Techniques with Apache Spark Declarative Pipelines - French

Ce cours explore les Pipeline déclaratifs Apache Spark (SDP) de Databricks pour la création de pipelines streaming de qualité production. Vous apprendrez des modèles de conception avancés, une application robuste de la qualité des données et une intégration multiplateforme essentiels pour l'ingénierie lakehouse en conditions réelles.

Tout au long du cours, vous plongerez dans les techniques modernes d'Ingestion de données et de traitement, en maîtrisant des outils tels que le clustering liquide pour l'optimisation de la Disposition et le modèle de streaming Multiplex pour les événements à schémas mixtes. À la fin des modules, vous saurez gérer en toute confiance l'évolution du schéma, automatiser le change data capture (CDC) et garantir l'Intégrité des données.

À travers des cours magistraux et des démonstrations pratiques, vous allez:

• Construire des pipelines multi-flux pour ingérer des données multi-sources dans une table Bronze unifiée.

• Appliquer le clustering liquide et les attentes de qualité des données sur les couches Argent et gold.

• Implémenter le modèle Multiplex avec Iceberg UniForm pour un accès aux données multiplateforme.

• Automatiser le suivi de l'historique SCD de type 2 à l'aide d'AUTO CDC INTO.

• Concevoir des pipelines de quarantaine sans perte de données pour auditer et gérer les enregistrements non valides.

Remarque: Databricks Academy passe à un format basé sur des cahiers de travail pour les sessions en présentiel au sein de l'environnement Databricks, et abandonne ainsi l'utilisation de présentations PowerPoint pour les cours magistraux. Vous pouvez accéder aux cahiers de travail des cours dans l'environnement de laboratoire Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Professional

Duration

Prerequisites

Le contenu a été développé pour des participants possédant les compétences/connaissances/aptitudes suivantes:

• Spark Declarative Pipelines — Avoir suivi le cours « Build Data Pipelines with Apache Spark Declarative Pipelines », ou être familiarisé avec CREATE OR REFRESH STREAMING TABLE, CONSTRAINTS et l'interface utilisateur Pipelines

• Delta Lake Fundamentals — Compréhension des tables Delta et de la façon dont Delta gère les fichiers de données et les logs de transactions

• Streaming Concepts — Connaissance du streaming en micro-batch, du checkpointing et du traitement par temps d'événement dans SDP

• SQL Proficiency — Capacité à lire et à écrire du SQL, notamment SELECT, JOIN, MERGE, CASE WHEN et les fonctions d'agrégat courantes

• Python in Databricks Notebooks — Aisance dans la lecture et l'exécution de code Python dans les Databricks Notebooks

• Unity Catalog Basics — Compréhension des catalogues, des schémas, des tables et des volumes dans Unity Catalog

Outline

Techniques avancées avec les Pipeline déclaratifs Spark

• Introduction aux flux multiples, aux attentes et au clustering liquide dans SDP

• Démonstration: SDP multi-flux avec clustering liquide et qualité des données

• Introduction au Multiplex Streaming, aux Delta Sinks et aux lectures Iceberg

• Démonstration: Streaming Multiplex SDP avec Delta Sinks et lectures Iceberg

• Revue du Change Data Capture (CDC)

• Démonstration: Automatisation des SCD de type 2 avec AUTO CDC dans les Pipeline déclaratifs Apache Spark

• Contrôles avancés de la qualité des données et attentes dans SDP

• Démonstration: Contrôles avancés de la qualité des données et attentes dans SDP

• Atelier: Création d'un Pipeline Ecommerce Multi-Source avec SDP

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Inscrivez-vous maintenant

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Inscrivez-vous maintenant

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Automated Deployment with Declarative Automation Bundles - French

Ce cours propose une revue approfondie des principes DevOps et de leur application aux projets Databricks. Il commence par un aperçu des concepts fondamentaux de DevOps, DataOps, intégration continue (CI), déploiement continu (CD) et tests, et explore comment ces principes peuvent s'appliquer aux pipelines d'ingénierie des données.

Le cours se concentre ensuite sur le déploiement continu au sein du processus CI/CD, en examinant des outils tels que l'API REST, le SDK et le CLI Databricks pour le déploiement de projets. Vous découvrirez les Declarative Automation Bundles (DABs) et leur place dans le processus CI/CD. Vous approfondirez leurs composants clés, la structure des dossiers et la façon dont ils accélèrent le déploiement dans divers environnements cibles sur Databricks. Vous apprendrez également à ajouter des variables, modifier, valider, déployer et exécuter des Declarative Automation Bundles pour plusieurs environnements avec différentes configurations via le CLI Databricks.

Enfin, le cours présente Visual Studio Code comme environnement de développement interactif (IDE) pour construire, tester et déployer des Declarative Automation Bundles localement, en optimisant le processus de développement. Le cours se termine par une introduction à l'automatisation des pipelines de déploiement avec GitHub Actions afin d'améliorer le flux de travail CI/CD avec les Declarative Automation Bundles.

À la fin de ce cours, vous serez prêt à automatiser les déploiements de projets Databricks avec les Declarative Automation Bundles, en améliorant l'efficacité grâce aux pratiques DevOps.

Remarque: Databricks Academy passe à un format basé sur des cahiers de travail pour les sessions en présentiel au sein de l'environnement Databricks, et abandonne ainsi l'utilisation de présentations PowerPoint pour les cours magistraux. Vous pouvez accéder aux cahiers de travail des cours dans l'environnement de laboratoire Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어

Introduction to Python for Data Science and Data Engineering - French

Ce cours est destiné aux débutants complets en Python afin de fournir les bases de l'interaction programmatique avec les données. Le cours commence par une introduction aux expressions de programmation, aux variables et aux types de données. Il aborde ensuite les instructions conditionnelles et de contrôle, les fonctions, les types Collection, les boucles, la gestion des erreurs et les classes. Vous apprendrez à étendre Python avec des bibliothèques externes et acquerrez de l'expérience dans l'utilisation de la bibliothèque Pandas pour l'analyse et la visualisation de données, notamment en faisant évoluer les Workflows Pandas avec Apache Spark. Enfin, vous explorerez les fondamentaux du cloud computing. Tout au long du cours, vous acquerrez une pratique concrète grâce à des exercices de laboratoire, avec des ressources supplémentaires pour approfondir vos connaissances en programmation après la formation.

Generative AI Engineer

Agent Evaluation on Databricks - French

Ce cours apprend aux étudiants à évaluer systématiquement les agents IA à l’aide du cadre d’évaluation de MLflow, en répondant aux défis propres aux systèmes d’IA non déterministes que les tests logiciels traditionnels ne peuvent pas gérer. Les étudiants apprennent à mettre en œuvre différentes approches d’évaluation, notamment des juges intégrés pour des critères courants tels que l’exactitude et la sécurité, des juges de directives pour des exigences propres à l’entreprise, et des juges personnalisés pour des besoins spécialisés. Le cours couvre à la fois l’évaluation hors ligne à partir d’ensembles de données organisés et le monitoring en ligne en production, avec une expérience pratique des capacités de traçage de MLflow pour comprendre les schémas d’exécution des agents et recueillir les retours humains de différents types de parties prenantes. À travers des démonstrations pratiques et des laboratoires, les étudiants développent des compétences pour créer des workflows d’évaluation qui favorisent l’amélioration continue de la qualité tout au long du cycle de vie de développement des agents IA.

Remarque : Databricks Academy passe à un format basé sur des notebooks pour les sessions en classe dans l’environnement Databricks, et n’utilise plus de diaporamas pour les cours. Vous pouvez accéder aux notebooks de cours dans l’environnement de laboratoire Vocareum.