Data Ingestion with Lakeflow Connect - Portuguese BR

Este curso oferece uma introdução abrangente ao LakeFlow Connect, uma solução escalável e simplificada para ingestão de dados no Databricks a partir de uma ampla variedade de fontes. Você começará explorando os diferentes tipos de conectores do LakeFlow Connect (Standard e Managed) e aprenderá diversas técnicas de ingestão de dados, incluindo ingestão em lotes, em lotes incremental e por transmissão. Você também revisará os principais benefícios do uso de tabelas UC e da Arquitetura Medallion.

Em seguida, você desenvolverá habilidades práticas para ingestão de dados de armazenamento de objetos cloud usando os Conectores Standard do LakeFlow Connect. Isso inclui o uso de métodos como CREATE TABLE AS SELECT (CTAS), COPY INTO e Auto Loader, com ênfase nos benefícios e considerações de cada abordagem. Você também aprenderá como adicionar colunas de metadados às suas tabelas de nível Bronze durante a ingestão na Databricks Data Intelligence Platform. O curso aborda ainda como lidar com registros que não correspondem ao esquema da sua tabela usando a coluna de dados resgatados, juntamente com estratégias para gerenciar e analisar esses dados. Você também explorará técnicas para ingestão e achatamento de dados JSON semiestruturados.

Em seguida, você aprenderá como realizar ingestão de dados em nível empresarial usando os Conectores Managed do LakeFlow Connect para trazer dados de bancos de dados e aplicações Software-as-a-Service (SaaS). O curso também apresenta o Partner Connect como uma opção para integrar ferramentas de parceiros às suas cargas de trabalho de ingestão.

Por fim, o curso é encerrado com estratégias alternativas de ingestão, incluindo operações MERGE INTO e o uso do Databricks Marketplace, proporcionando a você uma base sólida para dar suporte a casos de uso modernos de engenharia de dados.

Observação: Para arquivos de aula SCORM, feche a janela do SCORM após concluir o conteúdo. Não clique no botão “Próxima lição”, pois isso pode impedir que o módulo SCORM seja marcado como concluído.

Languages Available: English | 日本語 | Português BR | 한국어 | 普通话

Skill Level

Associate

Duration

Prerequisites

O conteúdo deste curso foi desenvolvido para participantes com as seguintes habilidades/conhecimentos/capacidades:

• Compreensão básica do Databricks Data Intelligence Platform, incluindo Databricks Workspaces, Apache Spark, Delta Lake, a Arquitetura Medallion e Unity Catalog.

• Compreensão básica de fluxos de trabalho de ingestão de dados (lotes, transmissão, incremental) e princípios gerais de ETL

• Experiência com diversos formatos de arquivo (por exemplo, Parquet, CSV, JSON, TXT).

• Proficiência em SQL e Python.

• Familiaridade com a execução de código em Databricks Notebooks.

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Customer registration Partner registration

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Deploy Workloads with Lakeflow Jobs - Portuguese BR

O curso Deploy Workloads with Lakeflow Jobs ensina como orquestrar e automatizar fluxos de trabalho de dados, analítica e IA usando Lakeflow Jobs como uma plataforma de orquestração unificada dentro do ecossistema Databricks.

• Você aprenderá a projetar e implementar cargas de trabalho de dados usando Grafos Acíclicos Dirigidos (DAGs), configurar diversas opções de agendamento e implementar recursos avançados de fluxo de trabalho, como execução condicional de tarefas, dependências run-if e loops for each.

• O curso aborda as melhores práticas para criar pipelines robustos e prontos para produção com seleção adequada de compute, orquestração modular, técnicas de tratamento de erros e design tolerante a falhas — tudo nativamente integrado na Databricks Data Intelligence Platform.

Observação: para arquivos de aula SCORM, feche a janela do SCORM após concluir o conteúdo. Não clique no botão "Next Lesson" (Próxima lição), pois isso pode impedir que o módulo SCORM seja marcado como concluído.

Languages Available: English | 日本語 | Português BR | 한국어

Build Data Pipelines with Apache Spark Declarative Pipelines - Portuguese BR

Este curso apresenta aos usuários os conceitos e habilidades essenciais necessários para criar pipelines de dados usando pipelines declarativos do Lakeflow em Databricks para ingestão e processamento incrementais em lote ou transmissão por meio de várias streaming tables e materialized views. Projetado para engenheiros de dados novos em pipelines declarativos Lakeflow, o curso fornece uma visão geral abrangente dos principais componentes, como processamento incremental de dados, streaming tables, materialized views e views temporárias, destacando suas finalidades e diferenças específicas.

Os tópicos abordados incluem:

- Desenvolvimento e depuração de pipelines ETL com o editor de vários arquivos no Lakeflow usando SQL (com exemplos de código Python fornecidos)

- Como os pipelines declarativos do Lakeflow acompanham dependências de dados em um pipeline através do gráfico de pipeline

- Configuração de recursos de computação do pipeline, ativos de dados, modos de gatilho e outras opções avançadas.

Em seguida, o curso apresenta as expectativas de qualidade de dados no Lakeflow, orientando os usuários pelo processo de integração de expectativas em pipelines para validar e impor a integridade dos dados. Em seguida, os alunos explorarão como colocar um pipeline em produção, incluindo opções de agendamento, modo de produção e habilitação do log de eventos do pipeline para monitorar o desempenho e a integridade do pipeline.

Finalmente, o curso aborda como implementar a captura de dados de alterações (CDC) usando a sintaxe APPLY CHANGES INTO dentro dos Pipelines Declarativos do Lakeflow para gerenciar dimensões que mudam lentamente (SCD Tipo 1 e Tipo 2), preparando os usuários para integrar CDC em seus próprios pipelines.

Languages Available: English | 日本語 | Português BR | 한국어

Databricks Performance Optimization - Portuguese BR

Neste curso, aprenderá como otimizar as cargas de trabalho e o layout físico com o Spark e o Delta Lake, bem como analisar a interface do utilizador do Spark para avaliar o desempenho e depurar aplicações. Abordaremos temas como transmissão, net clustering, data skipping, cache, photons e muito mais.

Nota: Este curso faz parte da série de cursos "Data Engineering Avançada com o Databricks".

Languages Available: English | 日本語 | Português BR | 한국어

Subscription

Lab

Professional