Data Engineering with Databricks - Portuguese BR

Este é um curso introdutório que serve como um ponto de entrada adequado para aprender Data Engineering com o Databricks.

A seguir, descrevemos cada um dos quatro módulos de quatro horas incluídos neste curso.

Nota: para os quatro módulos a seguir, a Databricks Academy está migrando para um formato baseado em notebooks nas sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de lab do Vocareum.

1. Data Ingestion with Lakeflow Connect

Este curso oferece uma introdução abrangente ao Lakeflow Connect, uma solução escalável e simplificada para ingerir dados no Databricks a partir de uma ampla variedade de fontes. Você começará explorando os diferentes tipos de conectores do Lakeflow Connect (Standard e Managed) e aprenderá diversas técnicas de ingestão de dados, incluindo ingestão em batch, batch incremental e streaming. Você também revisará os principais benefícios do uso da Delta table e da arquitetura Medallion.

Em seguida, você desenvolverá habilidades práticas para ingerir dados do cloud object storage usando os Lakeflow Connect Standard Connectors. Isso inclui trabalhar com métodos como CREATE TABLE AS SELECT (CTAS), COPY INTO e Auto Loader, com ênfase nos benefícios e nas considerações de cada abordagem. Você também aprenderá a acrescentar colunas de metadados às suas tabelas de nível bronze durante a ingestão na Databricks Data Intelligence Platform. O curso aborda então como lidar com registros que não correspondem ao schema da sua tabela usando a coluna rescued data, além de estratégias para gerenciar e analisar esses dados. Você também explorará técnicas para ingerir e achatar dados JSON semiestruturados.

Depois disso, você explorará como realizar ingestão de dados de nível empresarial usando os Lakeflow Connect Managed Connectors para trazer dados de bancos de dados e aplicações Software-as-a-Service (SaaS). O curso também apresenta o Partner Connect como uma opção para integrar ferramentas de parceiros às suas cargas de trabalho de ingestão.

Por fim, o curso é encerrado com estratégias alternativas de ingestão, incluindo operações MERGE INTO e o uso do Databricks Marketplace, proporcionando uma base sólida para dar suporte a casos de uso modernos de data engineering.

2. Deploy Workloads with Lakeflow Jobs

O curso Deploy Workloads with Lakeflow Jobs ensina como orquestrar e automatizar fluxos de trabalho de dados, analytics e IA usando o Lakeflow Jobs como uma plataforma de orquestração unificada dentro do ecossistema Databricks.

• Você aprenderá a projetar e implementar cargas de trabalho de dados usando Directed Acyclic Graphs (DAGs), configurar várias opções de agendamento e implementar recursos avançados de fluxo de trabalho, como execução condicional de tarefas, dependências run-if e loops for each.

• O curso aborda as práticas recomendadas para criar pipelines robustos e prontos para produção, com seleção adequada de compute, orquestração modular, técnicas de tratamento de erros e design tolerante a falhas — tudo integrado nativamente à Databricks Data Intelligence Platform.

3. Build Data Pipelines with Apache Spark Declarative Pipelines

Este curso apresenta aos usuários os conceitos e as habilidades essenciais necessários para criar pipelines de dados usando o Apache Spark Declarative Pipelines (SDP) no Databricks para ingestão e processamento em batch incremental ou streaming por meio de várias streaming tables e materialized views. Projetado para data engineers iniciantes no Spark Declarative Pipelines, o curso oferece uma visão geral abrangente de componentes essenciais, como processamento incremental de dados, streaming tables, materialized views e temporary views, destacando seus propósitos específicos e suas diferenças.

Os tópicos abordados incluem:

• Desenvolvimento e depuração de pipelines de ETL com o editor multiarquivo do Spark Declarative Pipelines usando SQL (com exemplos de código em Python fornecidos)

• Como o Spark Declarative Pipelines rastreia as dependências de dados em um pipeline por meio do pipeline graph

• Configuração de recursos de compute do pipeline, ativos de dados, modos de acionamento e outras opções avançadas

Em seguida, o curso apresenta as data quality expectations no Spark Declarative Pipelines, orientando os usuários no processo de integração de expectations aos pipelines para validar e impor a integridade dos dados. Os alunos exploram então como colocar um pipeline em produção, incluindo opções de agendamento, e como habilitar o registro de eventos do pipeline para monitorar seu desempenho e sua integridade.

Por fim, o curso aborda como implementar Change Data Capture (CDC) usando a sintaxe AUTO CDC INTO no Spark Declarative Pipelines para gerenciar slowly changing dimensions (SCD Type 1 e Type 2), preparando os usuários para integrar o CDC aos seus próprios pipelines.

4. DevOps Essentials for Data Engineering

Este curso explora as práticas recomendadas de engenharia de software e os princípios de DevOps, especificamente desenvolvidos para data engineers que trabalham com o Databricks. Os participantes construirão uma base sólida em tópicos-chave, como qualidade de código, controle de versão, documentação e testes. O curso enfatiza o DevOps, abordando seus componentes essenciais, benefícios e o papel da integração e entrega contínuas (CI/CD) na otimização dos fluxos de trabalho de data engineering.

Você aprenderá a aplicar princípios de modularidade no PySpark para criar componentes reutilizáveis e estruturar o código de forma eficiente. A experiência prática inclui projetar e implementar testes unitários para funções do PySpark usando o framework pytest, seguidos de testes de integração para pipelines de dados do Databricks com Spark Declarative Pipeline e Jobs para garantir a confiabilidade.

O curso também aborda operações essenciais do Git no Databricks, incluindo o uso das Databricks Git Folders para integrar práticas de integração contínua. Por fim, você terá uma visão geral de vários métodos de deployment de ativos do Databricks, como REST API, CLI, SDK e Declarative Automation Bundles (DABs), proporcionando o conhecimento das técnicas para fazer o deployment e gerenciar seus pipelines.

Ao final do curso, você dominará as práticas recomendadas de engenharia de software e DevOps, o que lhe permitirá criar soluções de data engineering escaláveis, fáceis de manter e eficientes.

Languages Available: English | 日本語 | Português BR | 한국어 | Español | française