Revenir au contenu principal

DevOps Essentials for Data Engineering - French

Ce cours explore les meilleures pratiques de software engineering et les principes DevOps, spécifiquement conçu pour les data engineers travaillant avec Databricks. Les participants développeront des bases solides dans des domaines clés tels que la qualité du code, le contrôle de version, la documentation et les tests. Le cours met l'accent sur le DevOps, en couvrant ses composantes essentielles, ses avantages et le rôle de l'intégration et de la livraison continues (CI/CD) dans l'optimisation des Workflows de data engineering.


Vous apprendrez à appliquer les principes de modularité dans PySpark pour créer des composants réutilisables et structurer le code efficacement. Les exercices pratiques comprennent la conception et la mise en œuvre de tests unitaires pour des fonctions PySpark à l'aide du Cadre pytest, suivis de tests d'intégration pour les pipelines de données Databricks avec Spark Declarative Pipeline et Jobs afin de garantir leur fiabilité.


Le cours couvre également les opérations Git essentielles dans Databricks, notamment l'utilisation de Databricks Git Folders pour intégrer les pratiques d'intégration continue. Enfin, vous examinerez de manière générale les différentes méthodes de déploiement des ressources Databricks, telles que REST API, CLI, SDK et Declarative Automation Bundles (DABs), vous fournissant ainsi les connaissances nécessaires pour déployer et gérer vos pipelines.


À la fin du cours, vous maîtriserez les meilleures pratiques de software engineering et de DevOps, vous permettant de créer des solutions de data engineering évolutives, maintenables et efficaces.


Remarque :

  1. Il s’agit du quatrième cours de la série 'Data Engineering with Databricks'.
  2. Pour les fichiers de cours SCORM, veuillez fermer la fenêtre SCORM après avoir terminé le contenu. Ne cliquez pas sur le bouton ‘Next Lesson’, car cela pourrait empêcher le module SCORM d’être marqué comme terminé.
Skill Level
Associate
Duration
2h
Prerequisites

Dans ce cours, le contenu a été élaboré pour des participants possédant les compétences, connaissances et aptitudes suivantes :

• Connaissance approfondie de la Databricks Platform, notamment une expérience avec les Espaces de travail Databricks, Apache Spark, Delta Lake et la Medallion Architecture, Unity Catalog, SDP et les Jobs. Une compréhension de base du contrôle de version Git est également requise.

• Expérience dans l'ingestion et la transformation de données, avec une maîtrise de PySpark pour le traitement des données et les manipulations de DataFrame. De plus, les candidats doivent avoir de l'expérience dans la rédaction de requêtes SQL de niveau intermédiaire pour l'analyse et la transformation des données.

• Connaissance de la programmation Python, avec une maîtrise de la rédaction de code Python de niveau intermédiaire, notamment la capacité à concevoir et à implémenter des fonctions et des classes. Les utilisateurs doivent également être compétents dans la création, l'importation et l'utilisation efficace de packages Python.

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Inscrivez-vous maintenant

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Inscrivez-vous maintenant

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Databricks Data Privacy - French

Confidentialité des Données dans Databricks enseigne aux ingénieurs data comment trouver, protéger, supprimer et rendre compte des données personnelles sur la Databricks Data Intelligence Platform. La confidentialité y est traitée comme un ensemble de décisions techniques et de contrôles construits sur Unity Catalog et Delta Lake. Le cours sépare la confidentialité de la sécurité, de la gouvernance et de la conformité, puis organise le travail autour d'un cycle de vie identifier, protéger, gérer et vérifier, et d'un modèle de décision court que les apprenants appliquent à chaque technique.

Les apprenants commencent par trouver les colonnes sensibles avec Data Classification et consigner le traitement de chacune avec un tag gouverné. Ils protègent ces colonnes avec des politiques de contrôle d'accès basé sur les attributs (ABAC) pilotées par les tags, et utilisent des masques de colonnes et des filtres de lignes manuels lorsqu'une politique centrale ne convient pas. La désidentification va plus loin avec le hachage salé, la tokenisation via un coffre gouverné séparément et le chiffrement de colonnes, le sel et la clé étant conservés dans Databricks Secrets. Pour le droit à l'effacement, les apprenants suivent une demande, trouvent les données de la personne concernée avec la classification et le lignage, suppriment et propagent le changement avec DELETE et MERGE, puis purgent les fichiers sous-jacents avec REORG TABLE ... APPLY (PURGE) et un VACUUM tenant compte de la rétention. Le cours se termine en combinant lignage, journaux d'audit, historique des requêtes et historique des tables Delta en une piste de preuves montrant si chaque contrôle a fonctionné.

Toutes les données sont synthétiques. Les démos suivent le patrimoine de données d'un détaillant multinational tout au long du cycle de vie et closent chaque contrôle par une preuve qu'il a fonctionné, comme un résultat de requête masqué, un contrôle d'effacement vide ou une entrée d'historique de table. Deux laboratoires basés sur des scénarios renforcent le flux. Dans le premier, les apprenants réparent une protection défaillante sur la table clients d'une filiale. Dans le second, ils terminent une demande d'effacement à moitié réalisée et rassemblent les preuves qu'elle est complète. Le cours est technique et ne fournit pas de conseil juridique.

Remarque : Databricks Academy passe à un format basé sur des notebooks pour les sessions en classe dans l'environnement Databricks, et abandonne l'utilisation de diapositives pour les cours. Vous pouvez accéder aux notebooks de cours dans l'environnement de laboratoire Vocareum.

Free
2h
Professional

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.