Advanced Data Engineering with Databricks - Portuguese BR

Este curso serve como um ponto de entrada apropriado para aprender Engenharia de Dados Avançada com Databricks. Abaixo, descreveremos cada um dos quatro módulos de quatro horas incluídos neste curso.

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, descontinuando o uso de apresentações de slides nas primeiras módulo. Você pode acessar os cadernos das aulas no ambiente de laboratório Vocareum.

Advanced Techniques with Apache Spark Declarative Pipelines

Este curso explora o Declarative Pipelines do Apache Spark da Databricks (SDP) para a construção de pipelines de transmissão prontos para produção. Você aprenderá padrões de design avançados, aplicação robusta de qualidade de dados e integração entre plataformas, essenciais para a engenharia lakehouse no mundo real.

Ao longo do curso, você se aprofundará em técnicas modernas de ingestão de dados e processamento, dominando ferramentas como Liquid Clustering para otimização de configuração e o padrão Multiplex Streaming para eventos com esquemas mistos. Ao final dos módulos, você saberá como lidar com confiança com a evolução do esquema, automatizar o Change Data Capture (CDC) e garantir a integridade de dados.

Por meio de aulas e demonstrações práticas, você irá:

• Construir pipelines com múltiplos fluxos para ingerir dados de múltiplas fontes em uma Tabela Bronze unificada.

• Aplicar Liquid Clustering e Expectativas de Qualidade de Dados nas camadas Prata e Ouro.

• Implementar o padrão Multiplex com Iceberg UniForm para acesso a dados entre plataformas.

• Automatizar o acompanhamento de história do SCD Tipo 2 usando AUTO CDC INTO.

• Projetar pipelines de quarentena com zero perda de dados para auditar e gerenciar registros inválidos.

Databricks Data Privacy

Este conteúdo oferece um guia completo para a gestão da privacidade de dados no Databricks. Aborda temas essenciais como a arquitetura do Delta Lake, o isolamento regional de dados, a compliance com o RGPD/CCPA e a utilização do Change Data Feed (CDF). Através de demonstrações práticas e laboratórios interativos, os participantes aprendem a utilizar as funcionalidades do Unity Catalog para proteger dados confidenciais e garantir a compliance, capacitando-os para salvaguardar a integridade dos dados de forma eficaz.

Databricks Performance Optimization

Neste curso, aprenderá como otimizar as cargas de trabalho e o layout físico com o Spark e o Delta Lake, bem como analisar a interface do utilizador do Spark para avaliar o desempenho e depurar aplicações. Abordaremos temas como transmissão, net clustering, data skipping, cache, photons e muito mais.

Automated Deployment with Declarative Automation Bundles

Este curso oferece uma revisão abrangente dos princípios de DevOps e sua aplicação a projetos Databricks. Ele começa com uma visão geral dos conceitos fundamentais de DevOps, DataOps, integração contínua (CI), implantação contínua (CD) e testes, e explora como esses princípios podem ser aplicados a pipelines de engenharia de dados.

O curso então se concentra na implantação contínua dentro do processo de CI/CD, examinando ferramentas como a REST API, o SDK e o CLI do Databricks para implantação de projetos. Você aprenderá sobre os Declarative Automation Bundles (DABs) e como eles se encaixam no processo de CI/CD. Você irá explorar seus principais componentes, estrutura de pastas e como eles simplificam a implantação em diversos ambientes de destino no Databricks. Você também aprenderá como adicionar variáveis, modificar, validar, implantar e executar Declarative Automation Bundles para múltiplos ambientes com diferentes configurações usando o Databricks CLI.

Por fim, o curso apresenta o Visual Studio Code como um Ambiente de Desenvolvimento Interativo (IDE) para construir, testar e implantar Declarative Automation Bundles localmente, otimizando seu processo de desenvolvimento. O curso é concluído com uma introdução à automação de pipelines de implantação usando GitHub Actions para aprimorar o fluxo de trabalho de CI/CD com Declarative Automation Bundles.

Ao final deste curso, você estará preparado para automatizar implantações de projetos Databricks com Declarative Automation Bundles, melhorando a eficiência por meio de práticas de DevOps.

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Professional

Duration

16h

Prerequisites

• Spark Declarative Pipelines — Conclusão do curso "Construir Pipelines de Dados com Apache Spark Declarative Pipelines", ou familiaridade com CREATE OR REFRESH STREAMING TABLE, CONSTRAINTS e a interface Pipelines

• Fundamentos de Delta Lake — Compreensão das tabelas Delta e como a Delta gere ficheiros de dados e logs de transações

• Conceitos de Transmissão — Conhecimento de transmissão micro-batch, checkpointing e processamento em tempo de evento em SDP

• Proficiência em SQL — Capacidade de ler e escrever SQL, incluindo SELECT, JOIN, MERGE, CASE WHEN e funções agregadas comuns

• Python nos Databricks Notebooks — Conforto em ler e executar código Python nos Databricks Notebooks

• Fundamentos do Unity Catalog — Compreensão de catálogos, esquemas, tabelas e volumes no Unity Catalog

• Capacidade de realizar tarefas básicas de desenvolvimento de código usando o Databricks Data Engineering and Data Science workspace (criar clusters, executar código em notebooks, usar operações básicas de notebooks, importar repositórios do git, etc.)

• Experiência intermédia de programação com o PySpark

• Extrair dados de vários formatos de ficheiro e fontes de dados

• Aplique várias transformações comuns a dados limpos

• Remodelar e manipular dados complexos usando funções avançadas incorporadas

• Experiência intermédia de programação com Delta Lake (criar tabelas, realizar atualizações completas e incrementais, compactar ficheiros, restaurar versões anteriores, etc.)

• Experiência de principiante a configurar e programar pipelines de dados usando a interface Apache Spark Declarative Pipelines

• Experiência para principiantes a definir Apache Spark Declarative Pipelines usando PySpark

• Ingerir e processar dados usando Auto Loader e sintaxe PySpark

• Feeds de Change Data Capture de Processos com sintaxe APPLY CHANGES INTO

• Revise os registos de eventos e resultados do pipeline para resolver problemas na sintaxe do Declarative Pipeline

• Conhecimento sólido da Databricks platform, incluindo experiência com Databricks Workspaces, Apache Spark, Delta Lake, a arquitetura Medallion, Unity Catalog, Apache Declarative Pipelines e Workflows. Em particular, conhecimento sobre como aproveitar as Expectativas com os Apache Declarative Pipelines.

• Experiência em ingestão e transformação de dados, com proficiência em PySpark para processamento de dados e manipulação de DataFrames. Os candidatos devem também ter experiência na escrita de SQL queries de nível intermédio para análise e transformação de dados.

• Proficiência em programação Python, incluindo a capacidade de desenhar e implementar funções e classes, e experiência na criação, importação e utilização de pacotes Python.

• Familiaridade com as práticas DevOps, particularmente continuous integration e continuous delivery/deployment (CI/CD).

• Uma compreensão básica do controlo de versões do Git.

• Curso pré-requisito DevOps Essentials para Engenharia de Dados

Outline

Advanced Techniques with Apache Spark Declarative Pipelines

• Introdução a Múltiplos Fluxos, Expectativas e Liquid Clustering no SDP

• Demonstração: Multi Flow SDP com Liquid Clustering e Qualidade de Dados

• Introdução à Transmissão Multiplex, Sinks Delta e Leituras Iceberg

• Demonstração: Transmissão Multiplex SDP com Sinks Delta e Leituras Iceberg

• Revisão de Change Data Capture (CDC)

• Demonstração: Automatizando SCD Type 2 com AUTO CDC no Apache Spark Declarative Pipelines

• Verificações Avançadas de Qualidade de Dados e Expectativas no SDP

• Demonstração: Advanced Data Quality Checks and Expectation in SDP

• Laboratório: Construindo um Pipeline Ecommerce Multi-Fonte com SDP

Databricks Data Privacy

• Armazenando de dados com segurança

• Unity Catalog

• Segurança dos Dados PII

• Transmissão de Dados e CDF

Databricks Performance Optimization

• Arquitetura Spark

• Projetando as bases

• Otimização de código

• Ajuste Fino: Escolhendo o cluster correto

Automated Deployment with Declarative Automation Bundles

• DevOps e CI/CD — Revisão

• Demonstração: Configuração do Curso e Autenticação

• Implantando Databricks Projects

• Introdução aos Declarative Automation Bundles (DABs)

• Demonstração: Implantando um DAB Simples

• Laboratório: Implantar um DAB Simples

• Substituições de Variáveis em DABs

• Demonstração: Implantando um DAB em Múltiplos Ambientes

• Laboratório: Implantar um DAB em Múltiplos Ambientes

• Visão Geral dos Modelos de Projeto DAB

• Laboratório: Use um Padrão DAB Padrão do Databricks

• Visão Geral do Projeto CI/CD com DABs

• Demonstração: Integração Contínua e Implantação Contínua com DABs

• Laboratório: Adicionando ML a Workflows de engenharia com DABs

• Desenvolvendo Localmente com Visual Studio Code (VSCode)

• Demonstração: Usando VSCode com Databricks

• CI/CD Práticas Recomendadas & os passos Seguintes com GitHub Actions

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Advanced Machine Learning with Databricks - Portuguese BR

Este curso é destinado a cientistas de dados e profissionais de machine learning e é composto por dois módulos de quatro horas.

Machine Learning at Scale

Neste curso, você adquirirá conhecimento teórico e prático sobre a arquitetura do Apache Spark e sua aplicação em cargas de trabalho de machine learning no Databricks. Você aprenderá quando usar o Spark para preparação de dados, treinamento de modelos e implantação, além de obter experiência prática com Spark ML e APIs do Pandas no Spark. Este curso apresentará conceitos avançados, como ajuste de hiperparâmetros e escalabilidade do Optuna com Spark. Este curso utilizará recursos e conceitos introduzidos no curso associado, como MLflow e Unity Catalog, para empacotamento e governança abrangentes de modelos.

Advanced Machine Learning Operations

Neste curso, você receberá uma compreensão abrangente do ciclo de vida de machine learning e de MLOps, com ênfase nas melhores práticas para gerenciamento de dados e modelos, testes e arquiteturas escaláveis. O curso aborda os principais componentes de MLOps, incluindo CI/CD, gerenciamento de pipeline e separação de ambientes, ao mesmo tempo em que apresenta as ferramentas do Databricks para automação e gerenciamento de infraestrutura, como Declarative Automation Bundles (DABs), Lakeflow Jobs e Model Serving. Você aprenderá sobre monitoramento, métricas personalizadas, detecção de desvios, estratégias de implantação de modelos, testes A/B e os princípios de sistemas MLOps confiáveis, proporcionando uma visão holística da implementação e do gerenciamento de projetos de ML no Databricks.

Nota: A Databricks Academy está fazendo a transição para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides para as aulas. Você pode acessar os notebooks de aula no ambiente de laboratório do Vocareum.