Data Ingestion with Lakeflow Connect - French

Ce cours propose une introduction complète à LakeFlow Connect, une solution évolutive et simplifiée pour l'Ingestion de données dans Databricks à partir d'un large éventail de sources. Vous commencerez par explorer les différents types de connecteurs LakeFlow Connect (Standard et Managed) et apprendrez diverses techniques d'Ingestion de données, notamment l'ingestion batch, batch incrémentale et streaming. Vous passerez également en revue les principaux avantages de l'utilisation des tables Delta et de la Medallion Architecture.

Ensuite, vous développerez des compétences pratiques pour ingérer des données depuis un stockage d'objets cloud à l'aide des connecteurs standard LakeFlow Connect. Cela comprend l'utilisation de méthodes telles que CREATE TABLE AS SELECT (CTAS), COPY INTO et Auto Loader, en mettant l'accent sur les avantages et les considérations propres à chaque approche. Vous apprendrez également à ajouter des colonnes de métadonnées à vos tables de niveau Bronze lors de l'ingestion dans la Databricks Data Intelligence Platform. Le cours explique ensuite comment gérer les enregistrements qui ne correspondent pas au schéma de votre table à l'aide de la colonne de données récupérées, ainsi que les stratégies de gestion et d'analyse de ces données. Vous explorerez également des techniques pour ingérer et aplatir des données JSON semi-structurées.

Par la suite, vous découvrirez comment effectuer une Ingestion de données de niveau entreprise à l'aide des connecteurs Managed LakeFlow Connect pour importer des données provenant de bases de données et d'applications Software-as-a-Service (SaaS). Le cours présente également Partner Connect comme option d'intégration d'outils partenaires dans vos charges de travail d'ingestion.

Enfin, le cours se conclut par des stratégies d'ingestion alternatives, notamment les opérations MERGE INTO et l'exploitation du Databricks Marketplace, vous dotant ainsi de bases solides pour prendre en charge les cas d'usage modernes de data engineering.

Remarque : La Databricks Academy est en train de passer à un format basé sur des notebooks pour les sessions en classe au sein de l'environnement Databricks, en abandonnant l'utilisation de présentations de diapositives pour les cours. Vous pouvez accéder aux notebooks de cours dans l'environnement de laboratoire Vocareum.

Skill Level

Associate

Duration

Prerequisites

• Compréhension de base de la Databricks Data Intelligence platform, notamment les Databricks Espaces de travail, Apache Spark, Delta Lake, la Medallion Architecture et Unity Catalog.

• Compréhension de base des workflows d'Ingestion de données (batch, streaming, incrémentiel) et des principes généraux d'ETL

• Expérience de travail avec divers formats de fichiers (par exemple, Parquet, CSV, JSON, TXT).

• Maîtrise de SQL et Python.

• Familiarité avec l'exécution de code dans les Databricks Notebooks.

Outline

• Data Engineering dans Databricks

• Exploration de l’environnement de laboratoire

• Ingestion de données depuis le stockage cloud

• Démo - Ingestion de données avec CREATE TABLE AS et COPY INTO

• Démo - Création de streaming tables en SQL à l’aide d’Auto Loader

• Ajout de colonnes de métadonnées lors de l’ingestion

• Démo - Ajout de colonnes de métadonnées pendant l’ingestion

• Utilisation de la colonne Rescued Data

• Démo - Gestion de l’ingestion CSV avec la colonne Rescued Data

• Laboratoire - Création de tables Bronze à partir de fichiers CSV

• Ingestion de données semi-structurées : JSON

• Démo - Ingestion de fichiers JSON avec Databricks

• Laboratoire - Création de tables Bronze à partir de fichiers JSON

• Vue d’ensemble de l’ingestion de données d’entreprise

• Démo - Ingestion de données d’entreprise avec LakeFlow Connect

• Fonctionnalités supplémentaires et ingestion dans des Delta Tables existantes

• Démo - BONUS - Ingestion de données avec MERGE INTO

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Inscrivez-vous maintenant

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Inscrivez-vous maintenant

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Generative AI Engineer

Agent Evaluation on Databricks - French

Ce cours apprend aux étudiants à évaluer systématiquement les agents IA à l’aide du cadre d’évaluation de MLflow, en répondant aux défis propres aux systèmes d’IA non déterministes que les tests logiciels traditionnels ne peuvent pas gérer. Les étudiants apprennent à mettre en œuvre différentes approches d’évaluation, notamment des juges intégrés pour des critères courants tels que l’exactitude et la sécurité, des juges de directives pour des exigences propres à l’entreprise, et des juges personnalisés pour des besoins spécialisés. Le cours couvre à la fois l’évaluation hors ligne à partir d’ensembles de données organisés et le monitoring en ligne en production, avec une expérience pratique des capacités de traçage de MLflow pour comprendre les schémas d’exécution des agents et recueillir les retours humains de différents types de parties prenantes. À travers des démonstrations pratiques et des laboratoires, les étudiants développent des compétences pour créer des workflows d’évaluation qui favorisent l’amélioration continue de la qualité tout au long du cycle de vie de développement des agents IA.

Remarque : Databricks Academy passe à un format basé sur des notebooks pour les sessions en classe dans l’environnement Databricks, et n’utilise plus de diaporamas pour les cours. Vous pouvez accéder aux notebooks de cours dans l’environnement de laboratoire Vocareum.

Building Agentic Applications on Databricks - French

Ce cours enseigne aux étudiants comment créer des applications agentiques de niveau production sur Databricks. Les étudiants apprennent à créer des outils d’agent gouvernés avec Unity Catalog et MCP, à construire des systèmes mono-agent et multi-agents avec le OpenAI Agents SDK, et à tirer parti d’Agent Bricks et de Genie pour des cas d’usage de knowledge assistant orchestrés par un agent supervisor. Le cours couvre l’ensemble du parcours, du prototypage d’outils au déploiement en production, avec une pratique du tracing MLflow pour observer l’exécution des agents.

Remarque : La Databricks Academy est en train de passer à un format basé sur des notebooks pour les sessions en classe au sein de l'environnement Databricks, en abandonnant l'utilisation de présentations de diapositives pour les cours. Vous pouvez accéder aux notebooks de cours dans l'environnement de laboratoire Vocareum.

Generative AI Engineer

Building RAG Agents with Agent Bricks - French

Ce cours propose une formation pratique pour créer des agents de récupération avec Databricks Agent Bricks. Les participants apprendront à explorer et interroger des Knowledge Assistants, à transformer des documents non structurés en données structurées avec les AI Functions, à découper le texte pour la récupération sémantique, à créer des index AI Search, et à concevoir des Knowledge Assistants prêts pour la production s’appuyant sur plusieurs sources de connaissances.