Advanced Data Engineering with Databricks - Portuguese BR
Este curso serve como um ponto de entrada apropriado para aprender Engenharia de Dados Avançada com Databricks. Abaixo, descreveremos cada um dos quatro módulos de quatro horas incluídos neste curso.
Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, descontinuando o uso de apresentações de slides nas primeiras módulo. Você pode acessar os cadernos das aulas no ambiente de laboratório Vocareum.
Advanced Techniques with Spark Declarative Pipelines
Este curso explora os Spark Declarative Pipelines (SDP) da Databricks Lakeflow para a construção de pipelines de transmissão de nível de produção. Aprenderá padrões de design avançados, aplicação robusta da qualidade de dados e integração multiplataforma, essenciais para a engenharia de lakehouses no mundo real.
Ao longo do curso, irá aprofundar técnicas modernas de ingestão e processamento de dados, dominando ferramentas como o Liquid Clustering para otimização de layout e o padrão Multiplex Streaming para eventos com esquemas mistos. No final dos módulos, saberá como lidar com confiança com a evolução de esquemas, automatizar a Change Data Capture (CDC) e garantir a integridade dos dados.
Através de aulas teóricas e demonstrações práticas, irá:
• Construir pipelines de múltiplos fluxos para ingerir dados de múltiplas fontes numa tabela Bronze unificada.
• Aplicar o algoritmo Liquid Clustering e as Expectativas de Qualidade de Dados nas camadas Prata e Ouro.
• Implementar o padrão Multiplex com Iceberg UniForm para acesso a dados multiplataforma.
• Automatizar o seguimento do histórico de SCD Tipo 2 utilizando o AUTO CDC INTO.
• Conceber pipelines de quarentena sem perda de dados para auditar e gerir registros inválidos.
Databricks Data Privacy
Este conteúdo oferece um guia completo para a gestão da privacidade de dados no Databricks. Aborda temas essenciais como a arquitetura do Delta Lake, o isolamento regional de dados, a compliance com o RGPD/CCPA e a utilização do Change Data Feed (CDF). Através de demonstrações práticas e laboratórios interativos, os participantes aprendem a utilizar as funcionalidades do Unity Catalog para proteger dados confidenciais e garantir a compliance, capacitando-os para salvaguardar a integridade dos dados de forma eficaz.
Databricks Performance Optimization
Neste curso, aprenderá como otimizar as cargas de trabalho e o layout físico com o Spark e o Delta Lake, bem como analisar a interface do utilizador do Spark para avaliar o desempenho e depurar aplicações. Abordaremos temas como transmissão, net clustering, data skipping, cache, photons e muito mais.
Automated Deployment with Databricks Asset Bundles
Este curso oferece uma revisão abrangente dos princípios de DevOps e sua aplicação em projetos Databricks. Ele começa com uma visão geral dos principais conceitos de DevOps, DataOps, continuous integration (CI), continuous deployment (CD) e testes, e explora como esses princípios podem ser aplicados a pipelines de engenharia de dados.
Em seguida, o curso se concentra na continuous deployment dentro do processo de CI/CD, examinando ferramentas como a Databricks REST API, o SDK e a CLI para a implantação de projetos. Você aprenderá sobre os Databricks Asset Bundles (DABs) e como eles se encaixam no processo de CI/CD. Você se aprofundará em seus principais componentes, estrutura de pastas e como eles otimizam a implantação em vários ambientes de destino na Databricks. Você também aprenderá como adicionar variáveis, modificar, validar, implantar e executar Databricks Asset Bundles para vários ambientes com diferentes configurações usando a Databricks CLI.
Por fim, o curso apresenta o Visual Studio Code como um Interactive Development Environment (IDE) para criar, testar e implantar Databricks Asset Bundles localmente, otimizando seu processo de desenvolvimento. O curso conclui com uma introdução à automação de pipelines de implantação usando o GitHub Actions para aprimorar o fluxo de trabalho de CI/CD com Databricks Asset Bundles.
Ao final deste curso, você estará apto a automatizar implantações de projetos Databricks com Databricks Asset Bundles, melhorando a eficiência por meio de práticas de DevOps.
Languages Available: English | 日本語 | Português BR | 한국어
• Spark Declarative Pipelines — Conclusão do curso "Criar Pipelines de Dados com Lakeflow Spark Declarative Pipelines" ou familiaridade com CREATE OR REFRESH STREAMING TABLE, CONSTRAINTS e a interface de utilizador do Pipelines
• Fundamentos do Delta Lake — Compreensão das tabelas Delta e de como o Delta gere os ficheiros de dados e os registos de transações
• Conceitos de Transmissão — Conhecimentos de transmissão em micro-lotes, checkpointing e processamento em tempo de evento no SDP
• Proficiência em SQL — Capacidade de ler e escrever SQL, incluindo SELECT, JOIN, MERGE, CASE WHEN e funções agregadas comuns
• Python em Databricks Notebooks — Familiaridade com a leitura e execução de código Python em Databricks Notebooks
• Noções básicas do Unity Catalog — Compreensão dos catálogos, esquemas, tabelas e volumes do Unity Catalog
• Capacidade de executar tarefas básicas de desenvolvimento de código utilizando o espaço de trabalho de Engenharia de Dados e Ciência de Dados do Databricks (criar clusters, executar código em notebooks, utilizar operações básicas de notebook, importar repositórios do git, etc.)
• Experiência intermédia em programação com PySpark.
• Extraia dados de uma variedade de formatos de ficheiro e fontes de dados.
• Aplicar uma série de transformações comuns para limpar os dados.
• Remodele e manipule dados complexos utilizando funções avançadas integradas.
• Experiência intermédia em programação com Delta Lake (criar tabelas, executar atualizações completas e incrementais, comprimir ficheiros, restaurar versões anteriores, etc.)
• Experiência de principiante na configuração e agendamento de pipelines de dados utilizando a IU de Delta Live Tables (DLT)
• Experiência de principiante na definição de pipelines Delta Live Tables usando o PySpark.
• Ingerir e processar dados utilizando a sintaxe Auto Loader e PySpark.
• Processar feeds de Change Data Capture com a sintaxe APPLY CHANGES INTO.
• Reveja os registos de eventos e os resultados do pipeline para solucionar problemas de sintaxe DLT.
• Grande conhecimento da plataforma Databricks, incluindo experiência com Databricks Workspaces, Apache Spark, Delta Lake, Medallion Architecture, Unity Catalog, Delta Live Tables e Workflows. Em particular, conhecimento sobre como alavancar expectativas com DLTs.
• Experiência em ingestão e transformação de dados, com proficiência em PySpark para processamento de dados e manipulação de DataFrame. Os candidatos devem também ter experiência na escrita de queries SQL de nível intermédio para análise e transformação de dados.
• Proficiência em programação Python, incluindo a capacidade de desenhar e implementar funções e classes, e experiência na criação, importação e utilização de pacotes Python.
• Familiaridade com as práticas de DevOps, particularmente princípios de continuous integration e continuous delivery/deployment (CI/CD).
• Uma compreensão básica do controlo de versão do Git.
• Curso pré-requisito: Noções básicas de DevOps para Engenharia de Dados.
Outline
Advanced Techniques with Spark Declarative Pipelines
• Introdução a Fluxos Múltiplos, Expectativa e Agrupamento Líquido em SDP
• Demo: Multi Flow SDP com Agrupamento Líquido e Qualidade de Dados
• Introdução ao Transmissão de Multiplex, Delta Sinks e Leituras Iceberg
• Demo: Transmissão de Multiplex SDP com Delta Sinks e Leituras Iceberg
• Revisão de Change Data Capture (CDC)
• Demo: Automatizando SCD Tipo 2 com AUTO CDC no Lakeflow Spark Declarative Pipelines
• Verificações avançadas de qualidade de dados e expectativas em SDP
• Demo: Verificações avançadas de qualidade de dados e expectativas em SDP
• Lab - Construir um pipeline de comércio eletrónico de múltiplas fontes com SDP
Databricks Data Privacy
• Armazenando de dados com segurança
• Unity Catalog
• Segurança dos Dados PII
• Transmissão de Dados e CDF
Databricks Performance Optimization
• Arquitetura Spark
• Projetando as bases
• Otimização de código
• Ajuste Fino: Escolhendo o cluster correto
Automated Deployment with Databricks Asset Bundles
• DevOps e CI/CD Revisão
• Deploy com Ativo do Databricks Bundles (DABs)
• Fazendo mais com Ativo Databricks Pacotes
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Registre-se agora
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Registre-se agora
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
