Data Engineering with Databricks - Portuguese BR

Este é um curso introdutório que serve como um ponto de partida adequado para aprender Engenharia de Dados com o Databricks.

Abaixo, descrevemos cada um dos quatro módulos de quatro horas incluídos neste curso.

1. Data Ingestion with Lakeflow Connect 

Este curso oferece uma introdução abrangente ao Lakeflow Connect como uma solução escalável e simplificada para ingestão de dados no Databricks a partir de uma variedade de fontes de dados. Você começará explorando os diferentes tipos de conectores no Lakeflow Connect (padrão e gerenciado), aprenderá sobre várias técnicas de ingestão, incluindo em lote, em lote incremental e streaming, e então revisará os principais benefícios das tabelas Delta e da arquitetura Medallion.

A partir daí, você adquirirá habilidades práticas para importar dados de forma eficiente do armazenamento de objetos em nuvem usando conectores padrão do Lakeflow Connect com métodos como CREATE TABLE AS (CTAS), COPY INTO e Auto Loader, juntamente com os benefícios e considerações de cada abordagem. Em seguida, você aprenderá como anexar colunas de metadados às suas tabelas de nível bronze durante a ingestão na plataforma de inteligência de dados Databricks. Em seguida, você trabalhará com a coluna de dados resgatados, que lida com registros que não correspondem ao esquema da sua tabela bronze, incluindo estratégias para gerenciar esses dados resgatados.

O curso também apresenta técnicas para ingestão e achatamento de dados JSON semiestruturados, bem como ingestão de dados de nível empresarial usando conectores gerenciados do Lakeflow Connect.

Por fim, os alunos explorarão estratégias alternativas de ingestão, incluindo operações MERGE INTO e aproveitando o Databricks Marketplace, equipando-os com conhecimentos básicos para dar suporte à ingestão de engenharia de dados moderna.

2. Deploy Workloads with Lakeflow Jobs

O curso Implante cargas de trabalho com Lakeflow Jobs ensina como orquestrar e automatizar fluxos de trabalho de dados, análises e IA usando Lakeflow Jobs. Você aprenderá a criar pipelines robustos e prontos para produção com agendamento flexível, orquestração avançada e práticas recomendadas para confiabilidade e eficiência, tudo integrado nativamente à plataforma de inteligência de dados Databricks. É recomendável ter experiência prévia com Databricks, Python e SQL.

3. Build Data Pipelines with Lakeflow Declarative Pipelines

Este curso apresenta aos usuários os conceitos e habilidades essenciais necessários para construir pipelines de dados usando Lakeflow Declarative Pipelines no Databricks para ingestão e processamento incremental em lote ou streaming por meio de várias tabelas de streaming e visualizações materializadas. Projetado para engenheiros de dados novos no Lakeflow Declarative Pipelines, o curso oferece uma visão geral abrangente dos componentes principais, como processamento incremental de dados, tabelas de streaming, visualizações materializadas e visualizações temporárias, destacando suas finalidades específicas e diferenças.

Os tópicos abordados incluem:

⇾ Desenvolvimento e depuração de pipelines ETL com o editor de vários arquivos no Lakeflow usando SQL (com exemplos de código Python fornecidos)

⇾ Como o Lakeflow Declarative Pipelines rastreia as dependências de dados em um pipeline por meio do gráfico do pipeline

⇾ Configuração de recursos de computação do pipeline, ativos de dados, modos de acionamento e outras opções avançadas

Em seguida, o curso apresenta as expectativas de qualidade de dados no Lakeflow, orientando os usuários através do processo de integração das expectativas nos pipelines para validar e garantir a integridade dos dados. Os alunos explorarão então como colocar um pipeline em produção, incluindo opções de agendamento, modo de produção e ativação do registro de eventos do pipeline para monitorar o desempenho e a integridade do pipeline.

Por fim, o curso aborda como implementar a Captura de Dados Alterados (CDC) usando a sintaxe APPLY CHANGES INTO no Lakeflow Declarative Pipelines para gerenciar dimensões que mudam lentamente (SCD Tipo 1 e Tipo 2), preparando os usuários para integrar o CDC em seus próprios pipelines.

4. Data Management and Governance with Unity Catalog

Neste curso, você aprenderá sobre gerenciamento e governança de dados usando o Databricks Unity Catalog. Ele abrange conceitos básicos de governança de dados, complexidades no gerenciamento de data lakes, arquitetura do Unity Catalog, segurança, administração e tópicos avançados, como controle de acesso refinado, segregação de dados e gerenciamento de privilégios.

* Este curso tem como objetivo preparar os alunos para a realização do exame de certificação Associate Data Engineering e fornece o conhecimento necessário para fazer o curso Advanced Data Engineering with Databricks.

Languages Available: English | 日本語 | Português BR | 한국어 | Español