Build Data Pipelines with Lakeflow Declarative Pipelines - French

Ce cours présente aux utilisateurs les concepts et compétences essentiels nécessaires pour créer des pipelines de données à l'aide de Lakeflow Spark Declarative Pipelines (SDP) dans Databricks pour l'ingestion et le traitement incrémentiels par lots ou en continu via plusieurs tables de streaming et vues matérialisées. Conçu pour les ingénieurs de données qui découvrent Spark Declarative Pipelines, ce cours offre un aperçu complet des composants essentiels tels que le traitement incrémentiel des données, les tables de streaming, les vues matérialisées et les vues temporaires, en soulignant leurs objectifs spécifiques et leurs différences.

Les thèmes abordés comprennent :

- Développement et débogage de pipelines ETL avec l'éditeur multi-fichiers dans Spark Declarative Pipelines à l'aide de SQL (avec exemples de code Python fournis)

- Comment les pipelines déclaratifs Spark suivent les dépendances des données dans un pipeline à travers le graphe du pipeline

- Configuration des ressources de calcul du pipeline, des actifs de données, des modes de déclenchement et d'autres options avancées

Ensuite, le cours présente les attentes en matière de qualité des données dans les pipelines déclaratifs Spark, guidant les utilisateurs tout au long du processus d'intégration des attentes dans les pipelines afin de valider et de garantir l'intégrité des données. Les apprenants découvriront ensuite comment mettre un pipeline en production, notamment les options de planification, et comment activer la journalisation des événements du pipeline afin de surveiller ses performances et son état de santé.

Enfin, le cours explique comment implémenter la capture des données modifiées (CDC) à l'aide de la syntaxe AUTO CDC INTO dans les pipelines déclaratifs Spark afin de gérer les dimensions à évolution lente (SCD de type 1 et de type 2), préparant ainsi les utilisateurs à intégrer la CDC dans leurs propres pipelines.

Skill Level

Associate

Duration

Prerequisites

⇾ Connaissance de base de la plateforme Databricks Data Intelligence, notamment Databricks Workspaces, Apache Spark, Delta Lake, l'architecture Medallion et Unity Catalog.

⇾ Expérience dans l'ingestion de données brutes dans des tables Delta, y compris l'utilisation de la fonction SQL read_files pour charger des formats tels que CSV, JSON, TXT et Parquet.

⇾ Maîtrise de la transformation des données à l'aide du langage SQL, y compris la rédaction de requêtes de niveau intermédiaire et une compréhension de base des jointures SQL.

Outline

Introduction à l'ingénierie des données dans Databricks

⇾ Ingénierie des données dans Databricks

⇾ Que sont les pipelines déclaratifs Lakeflow Spark ?

⇾ Configuration du cours et création d'un pipeline

⇾ Présentation du projet du cours

Lakeflow Spark Declarative Pipeline Principes fondamentaux

⇾ Présentation des types d'ensembles de données

⇾ Développement simplifié de pipelines

⇾ Paramètres courants des pipelines

⇾ Développement d'un pipeline simple

⇾ Garantir la qualité des données grâce aux attentes

Building Lakeflow Spark Declarative Pipelines

⇾ Présentation des connexions de streaming

⇾ Déploiement d'un pipeline en production

⇾ Présentation de la capture des données modifiées (CDC)

⇾ Capture des données modifiées avec AUTO CDC INTO

⇾ Présentation des fonctionnalités supplémentaires

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Inscrivez-vous maintenant

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Inscrivez-vous maintenant

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Building Reliable Conversational Agents with Genie - French

Ce cours vous apprend à concevoir, créer et gérer un espace Databricks Genie (Genie Space), une interface en langage naturel permettant aux utilisateurs métier de poser des questions sur des données gouvernées et d'obtenir des réponses basées sur SQL, sans avoir à écrire de code.

Vous découvrirez la place de Genie au sein de la gamme de produits Databricks AI/BI et la manière dont l'outil traduit le langage naturel en requêtes SQL fiables. La formation met l'accent sur les étapes nécessaires à la création d'un espace Genie fournissant des résultats précis, cohérents et dignes de confiance.

Vous suivrez un flux de travail complet, de la compréhension des données sources et de la définition de points de référence jusqu'à la configuration et l'affinage d'un espace Genie, en utilisant l'ensemble des outils de curation du « Knowledge Store ». Ces outils incluent la gestion des métadonnées, des synonymes, de la correspondance des prompts, de la logique SQL, des exemples de requêtes et des instructions textuelles.

Vous apprendrez également à partager les espaces Genie avec les utilisateurs métier via Databricks One, à comprendre comment la gouvernance d'Unity Catalog est appliquée automatiquement, et à utiliser la surveillance ainsi que les retours des utilisateurs pour améliorer continuellement la qualité au fil du temps.

À l'issue de ce cours, vous serez capable de créer et de gérer un espace Genie prêt pour la production, offrant des analyses conversationnelles en libre-service et gouvernées, à grande échelle.

Remarque : Databricks Academy passe à un format basé sur des cahiers de travail pour les sessions en présentiel au sein de l'environnement Databricks, et abandonne ainsi l'utilisation de présentations PowerPoint pour les cours magistraux. Vous pouvez accéder aux cahiers de travail des cours dans l'environnement de laboratoire Vocareum.

Lakebase App Integration and Management - French

Dans ce cours, vous apprendrez à intégrer Databricks Apps à Lakebase, la plateforme PostgreSQL entièrement gérée et cloud-native de Databricks, afin de créer des workflows d'application sécurisés et prêts pour l'entreprise. En s'appuyant sur les connaissances fondamentales de Databricks Apps et de Lakebase, ce cours met l'accent sur les fondamentaux de PostgreSQL, Lakebase Autoscaling, les pratiques SQL sécurisées, la gestion sécurisée des connexions, l'accès basé sur les rôles, l'intégration de la Data API et le développement basé sur les branches. Vous découvrirez également comment AppKit peut accélérer le développement d'applications au sein de ce workflow, en vous aidant à passer plus efficacement des concepts d'intégration à leur mise en œuvre.

Remarque: Databricks Academy passe à un format basé sur des cahiers de travail pour les sessions en présentiel au sein de l'environnement Databricks, et abandonne ainsi l'utilisation de présentations PowerPoint pour les cours magistraux. Vous pouvez accéder aux cahiers de travail des cours dans l'environnement de laboratoire Vocareum.

Architecting Data Warehouses for Large-Scale Deployments - French

Ce cours traite de l'optimisation des performances, de la maîtrise des coûts et de la sécurité pour les déploiements de data warehousing à grande échelle.

Ce cours s'adresse aux praticiens du data warehousing chargés de gérer des environnements Databricks au service de centaines ou de milliers d'utilisateurs répartis dans plusieurs unités opérationnelles. Vous acquerrez les compétences nécessaires pour faire évoluer efficacement les opérations de data warehousing tout en maintenant des performances élevées, une bonne rentabilité et la conformité aux normes de sécurité.

Languages Available: English | 日本語 | Português BR | 한국어 | Español