Advanced Techniques with Apache Spark Declarative Pipelines - Portuguese BR
Este curso explora o Declarative Pipelines do Apache Spark da Databricks (SDP) para a construção de pipelines de transmissão prontos para produção. Você aprenderá padrões de design avançados, aplicação robusta de qualidade de dados e integração entre plataformas, essenciais para a engenharia lakehouse no mundo real.
Ao longo do curso, você se aprofundará em técnicas modernas de ingestão de dados e processamento, dominando ferramentas como Liquid Clustering para otimização de configuração e o padrão Multiplex Streaming para eventos com esquemas mistos. Ao final dos módulos, você saberá como lidar com confiança com a evolução do esquema, automatizar o Change Data Capture (CDC) e garantir a integridade de dados.
Por meio de aulas e demonstrações práticas, você irá:
• Construir pipelines com múltiplos fluxos para ingerir dados de múltiplas fontes em uma Tabela Bronze unificada.
• Aplicar Liquid Clustering e Expectativas de Qualidade de Dados nas camadas Prata e Ouro.
• Implementar o padrão Multiplex com Iceberg UniForm para acesso a dados entre plataformas.
• Automatizar o acompanhamento de história do SCD Tipo 2 usando AUTO CDC INTO.
• Projetar pipelines de quarentena com zero perda de dados para auditar e gerenciar registros inválidos.
Observação: A Databricks Academy está a migrar para um formato baseado em notebooks para as aulas dentro do ambiente Databricks, descontinuando o uso de diapositivos nas aulas. Pode aceder aos notebooks das aulas no ambiente de laboratório Vocareum.
Languages Available: English | 日本語 | Português BR | 한국어
No mínimo, você deve conhecer os itens a seguir antes de tentar aprender esse conteúdo:
• Spark Declarative Pipelines — Conclusão do curso "Build Data Pipelines with Apache Spark Declarative Pipelines", ou familiaridade com CREATE OR REFRESH STREAMING TABLE, CONSTRAINTS e a interface de Pipelines
• Delta Lake Fundamentals — Compreensão de tabelas Delta e como o Delta gerencia arquivos de dados e logs de transações
• Conceitos de Transmissão — Conhecimento de transmissão em micro-lotes, checkpointing e processamento por tempo de evento no SDP
• Proficiência em SQL — Capacidade de ler e escrever SQL, incluindo SELECT, JOIN, MERGE, CASE WHEN e funções de agregação comuns
• Python in Databricks Notebooks — Familiaridade com leitura e execução de código Python em Databricks Notebooks
• Unity Catalog Basics — Compreensão de catálogos, esquemas, tabelas e volumes no Unity Catalog
Outline
Técnicas Avançadas com Spark Declarative Pipelines
• Introdução a Múltiplos Fluxos, Expectativas e Liquid Clustering no SDP
• Demonstração: Multi Flow SDP com Liquid Clustering e Qualidade de Dados
• Introdução à Transmissão Multiplex, Sinks Delta e Leituras Iceberg
• Demonstração: Transmissão Multiplex SDP com Sinks Delta e Leituras Iceberg
• Revisão de Change Data Capture (CDC)
• Demonstração: Automatizando SCD Type 2 com AUTO CDC no Apache Spark Declarative Pipelines
• Verificações Avançadas de Qualidade de Dados e Expectativas no SDP
• Demonstração: Advanced Data Quality Checks and Expectation in SDP
• Laboratório: Construindo um Pipeline Ecommerce Multi-Fonte com SDP
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Registre-se agora
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Registre-se agora
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
