Data Ingestion with Lakeflow Connect - Portuguese BR
Este curso oferece uma introdução abrangente ao LakeFlow Connect, uma solução escalável e simplificada para ingestão de dados no Databricks a partir de uma ampla variedade de fontes. Você começará explorando os diferentes tipos de conectores do LakeFlow Connect (Standard e Managed) e aprenderá diversas técnicas de ingestão de dados, incluindo ingestão em lotes, em lotes incremental e por transmissão. Você também revisará os principais benefícios do uso da Tabela Delta e da Arquitetura Medallion.
Em seguida, você desenvolverá habilidades práticas para ingestão de dados de armazenamento de objetos cloud usando os Conectores Standard do LakeFlow Connect. Isso inclui o uso de métodos como CREATE TABLE AS SELECT (CTAS), COPY INTO e Auto Loader, com ênfase nos benefícios e considerações de cada abordagem. Você também aprenderá como adicionar colunas de metadados às suas tabelas de nível Bronze durante a ingestão na Databricks Data Intelligence Platform. O curso aborda ainda como lidar com registros que não correspondem ao esquema da sua tabela usando a coluna de dados recuperados, juntamente com estratégias para gerenciar e analisar esses dados. Você também explorará técnicas para ingestão e achatamento de dados JSON semiestruturados.
Em seguida, você explorará como realizar ingestão de dados em nível empresarial usando os Conectores Managed do LakeFlow Connect para trazer dados de bancos de dados e aplicações Software-as-a-Service (SaaS). O curso também apresenta o Partner Connect como uma opção para integrar ferramentas de parceiros às suas cargas de trabalho de ingestão.
Por fim, o curso encerra com estratégias alternativas de ingestão, incluindo operações MERGE INTO e o uso do Databricks Marketplace, equipando você com uma base sólida para suportar casos de uso modernos de engenharia de dados.
Nota: A Databricks Academy está fazendo a transição para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides para as aulas. Você pode acessar os notebooks de aula no ambiente de laboratório do Vocareum.
Languages Available: English | 日本語 | Português BR | 한국어
Neste curso, o conteúdo foi desenvolvido para participantes com as seguintes habilidades/conhecimentos/competências:
• Compreensão básica do Databricks Data Intelligence Platform, incluindo Databricks Workspaces, Apache Spark, Delta Lake, a Arquitetura Medallion e Unity Catalog.
• Compreensão básica de fluxos de trabalho de ingestão de dados (lotes, transmissão, incremental) e princípios gerais de ETL
• Experiência com diversos formatos de arquivo (por exemplo, Parquet, CSV, JSON, TXT).
• Proficiência em SQL e Python.
• Familiaridade com a execução de código em Databricks Notebooks.
Outline
Ingestão de Dados com LakeFlow Connect
• Engenharia de Dados no Databricks
• Demonstração: Explorando o Ambiente de Laboratório
• Ingestão de Dados do Cloud Storage
• Demonstração: Ingestão de Dados com CREATE TABLE AS e COPY INTO
• Demonstração: Criar Tabelas de Transmissão com SQL usando Auto Loader
• Adicionando Colunas de Metadados na Ingestão
• Demonstração: Adicionando Colunas de Metadados Durante a Ingestão
• Trabalhando com a Coluna de Dados Recuperados
• Demonstração: Tratamento de Ingestão de CSV com a Coluna de Dados Resgatados
• Laboratório: Criando Tabelas Bronze a partir de Arquivos CSV
• Ingestão de Dados Semiestruturados: JSON
• Demonstração: Ingestão de Arquivos JSON com Databricks
• Laboratório: Criando Tabelas Bronze a partir de Arquivos JSON
• Visão Geral sobre Ingestão de Dados Corporativos
• Demonstração: Ingestão de Dados Empresariais com LakeFlow Connect
• Recursos Adicionais e Ingestão em Tabelas Delta Existentes
• Demonstração: BÔNUS - Ingestão de Dados com MERGE INTO
Upcoming Public Classes
Date | Time | Your Local Time | Language | Price |
|---|---|---|---|---|
Dec 09 | 09 AM - 01 PM (America/Sao_Paulo) | - | Portuguese - BR | $750.00 |
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Registre-se agora
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Registre-se agora
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
