Ir para o conteúdo principal

Advanced Data Engineering with Databricks - Portuguese BR

Este curso serve como um ponto de entrada apropriado para aprender Engenharia de Dados Avançada com Databricks. Abaixo, descreveremos cada um dos quatro módulos de quatro horas incluídos neste curso.


Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, descontinuando o uso de apresentações de slides nas primeiras módulo. Você pode acessar os cadernos das aulas no ambiente de laboratório Vocareum.


Advanced Techniques with Apache Spark Declarative Pipelines

Este curso explora o Declarative Pipelines do Apache Spark da Databricks (SDP) para a construção de pipelines de transmissão prontos para produção. Você aprenderá padrões de design avançados, aplicação robusta de qualidade de dados e integração entre plataformas, essenciais para a engenharia lakehouse no mundo real.


Ao longo do curso, você se aprofundará em técnicas modernas de ingestão de dados e processamento, dominando ferramentas como Liquid Clustering para otimização de configuração e o padrão Multiplex Streaming para eventos com esquemas mistos. Ao final dos módulos, você saberá como lidar com confiança com a evolução do esquema, automatizar o Change Data Capture (CDC) e garantir a integridade de dados.


Por meio de aulas e demonstrações práticas, você irá:

• Construir pipelines com múltiplos fluxos para ingerir dados de múltiplas fontes em uma Tabela Bronze unificada.

• Aplicar Liquid Clustering e Expectativas de Qualidade de Dados nas camadas Prata e Ouro.

• Implementar o padrão Multiplex com Iceberg UniForm para acesso a dados entre plataformas.

• Automatizar o acompanhamento de história do SCD Tipo 2 usando AUTO CDC INTO.

• Projetar pipelines de quarentena com zero perda de dados para auditar e gerenciar registros inválidos.


Databricks Data Privacy

Este conteúdo oferece um guia completo para a gestão da privacidade de dados no Databricks. Aborda temas essenciais como a arquitetura do Delta Lake, o isolamento regional de dados, a compliance com o RGPD/CCPA e a utilização do Change Data Feed (CDF). Através de demonstrações práticas e laboratórios interativos, os participantes aprendem a utilizar as funcionalidades do Unity Catalog para proteger dados confidenciais e garantir a compliance, capacitando-os para salvaguardar a integridade dos dados de forma eficaz.


Databricks Performance Optimization

Neste curso, aprenderá como otimizar as cargas de trabalho e o layout físico com o Spark e o Delta Lake, bem como analisar a interface do utilizador do Spark para avaliar o desempenho e depurar aplicações. Abordaremos temas como transmissão, net clustering, data skipping, cache, photons e muito mais.


Automated Deployment with Declarative Automation Bundles

Este curso oferece uma revisão abrangente dos princípios de DevOps e sua aplicação a projetos Databricks. Ele começa com uma visão geral dos conceitos fundamentais de DevOps, DataOps, integração contínua (CI), implantação contínua (CD) e testes, e explora como esses princípios podem ser aplicados a pipelines de engenharia de dados.


O curso então se concentra na implantação contínua dentro do processo de CI/CD, examinando ferramentas como a REST API, o SDK e o CLI do Databricks para implantação de projetos. Você aprenderá sobre os Declarative Automation Bundles (DABs) e como eles se encaixam no processo de CI/CD. Você irá explorar seus principais componentes, estrutura de pastas e como eles simplificam a implantação em diversos ambientes de destino no Databricks. Você também aprenderá como adicionar variáveis, modificar, validar, implantar e executar Declarative Automation Bundles para múltiplos ambientes com diferentes configurações usando o Databricks CLI.


Por fim, o curso apresenta o Visual Studio Code como um Ambiente de Desenvolvimento Interativo (IDE) para construir, testar e implantar Declarative Automation Bundles localmente, otimizando seu processo de desenvolvimento. O curso é concluído com uma introdução à automação de pipelines de implantação usando GitHub Actions para aprimorar o fluxo de trabalho de CI/CD com Declarative Automation Bundles.


Ao final deste curso, você estará preparado para automatizar implantações de projetos Databricks com Declarative Automation Bundles, melhorando a eficiência por meio de práticas de DevOps.


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Professional
Duration
16h
Prerequisites

• Spark Declarative Pipelines — Conclusão do curso "Construir Pipelines de Dados com Apache Spark Declarative Pipelines", ou familiaridade com CREATE OR REFRESH STREAMING TABLE, CONSTRAINTS e a interface Pipelines

• Fundamentos de Delta Lake — Compreensão das tabelas Delta e como a Delta gere ficheiros de dados e logs de transações

• Conceitos de Transmissão — Conhecimento de transmissão micro-batch, checkpointing e processamento em tempo de evento em SDP

• Proficiência em SQL — Capacidade de ler e escrever SQL, incluindo SELECT, JOIN, MERGE, CASE WHEN e funções agregadas comuns

• Python nos Databricks Notebooks — Conforto em ler e executar código Python nos Databricks Notebooks

• Fundamentos do Unity Catalog — Compreensão de catálogos, esquemas, tabelas e volumes no Unity Catalog

• Capacidade de realizar tarefas básicas de desenvolvimento de código usando o Databricks Data Engineering and Data Science workspace (criar clusters, executar código em notebooks, usar operações básicas de notebooks, importar repositórios do git, etc.)

• Experiência intermédia de programação com o PySpark

• Extrair dados de vários formatos de ficheiro e fontes de dados

• Aplique várias transformações comuns a dados limpos

• Remodelar e manipular dados complexos usando funções avançadas incorporadas

• Experiência intermédia de programação com Delta Lake (criar tabelas, realizar atualizações completas e incrementais, compactar ficheiros, restaurar versões anteriores, etc.)

• Experiência de principiante a configurar e programar pipelines de dados usando a interface Apache Spark Declarative Pipelines

• Experiência para principiantes a definir Apache Spark Declarative Pipelines usando PySpark

• Ingerir e processar dados usando Auto Loader e sintaxe PySpark

• Feeds de Change Data Capture de Processos com sintaxe APPLY CHANGES INTO

• Revise os registos de eventos e resultados do pipeline para resolver problemas na sintaxe do Declarative Pipeline

• Conhecimento sólido da Databricks platform, incluindo experiência com Databricks Workspaces, Apache Spark, Delta Lake, a arquitetura Medallion, Unity Catalog, Apache Declarative Pipelines e Workflows. Em particular, conhecimento sobre como aproveitar as Expectativas com os Apache Declarative Pipelines.

• Experiência em ingestão e transformação de dados, com proficiência em PySpark para processamento de dados e manipulação de DataFrames. Os candidatos devem também ter experiência na escrita de SQL queries de nível intermédio para análise e transformação de dados.

• Proficiência em programação Python, incluindo a capacidade de desenhar e implementar funções e classes, e experiência na criação, importação e utilização de pacotes Python.

• Familiaridade com as práticas DevOps, particularmente continuous integration e continuous delivery/deployment (CI/CD).

• Uma compreensão básica do controlo de versões do Git.

• Curso pré-requisito DevOps Essentials para Engenharia de Dados

Outline

Advanced Techniques with Apache Spark Declarative Pipelines

• Introdução a Múltiplos Fluxos, Expectativas e Liquid Clustering no SDP

• Demonstração: Multi Flow SDP com Liquid Clustering e Qualidade de Dados

• Introdução à Transmissão Multiplex, Sinks Delta e Leituras Iceberg

• Demonstração: Transmissão Multiplex SDP com Sinks Delta e Leituras Iceberg

• Revisão de Change Data Capture (CDC)

• Demonstração: Automatizando SCD Type 2 com AUTO CDC no Apache Spark Declarative Pipelines

• Verificações Avançadas de Qualidade de Dados e Expectativas no SDP

• Demonstração: Advanced Data Quality Checks and Expectation in SDP

• Laboratório: Construindo um Pipeline Ecommerce Multi-Fonte com SDP


Databricks Data Privacy

• Armazenando de dados com segurança

• Unity Catalog

• Segurança dos Dados PII

• Transmissão de Dados e CDF


Databricks Performance Optimization

• Arquitetura Spark

• Projetando as bases

• Otimização de código

• Ajuste Fino: Escolhendo o cluster correto


Automated Deployment with Declarative Automation Bundles

• DevOps e CI/CD — Revisão

• Demonstração: Configuração do Curso e Autenticação

• Implantando Databricks Projects

• Introdução aos Declarative Automation Bundles (DABs)

• Demonstração: Implantando um DAB Simples

• Laboratório: Implantar um DAB Simples

• Substituições de Variáveis em DABs

• Demonstração: Implantando um DAB em Múltiplos Ambientes

• Laboratório: Implantar um DAB em Múltiplos Ambientes

• Visão Geral dos Modelos de Projeto DAB

• Laboratório: Use um Padrão DAB Padrão do Databricks

• Visão Geral do Projeto CI/CD com DABs

• Demonstração: Integração Contínua e Implantação Contínua com DABs

• Laboratório: Adicionando ML a Workflows de engenharia com DABs

• Desenvolvendo Localmente com Visual Studio Code (VSCode)

• Demonstração: Usando VSCode com Databricks

• CI/CD Práticas Recomendadas & os passos Seguintes com GitHub Actions

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Generative AI Engineer

Generative AI Engineering with Databricks - Portuguese BR

Este curso é destinado a cientistas de dados, engenheiros de machine learning e outros profissionais de dados que desejam criar aplicações de IA generativa usando os frameworks mais recentes e populares e os recursos do Databricks.

Observação: a Databricks Academy está migrando para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, deixando de usar apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de laboratório Vocareum.

A seguir, descrevemos cada um dos quatro módulos de quatro horas incluídos neste curso.

Building RAG Agents with Agent Bricks: este curso oferece treinamento prático para criar agentes de recuperação usando o Databricks Agent Bricks. Os participantes aprenderão a explorar e consultar Knowledge Assistants, analisar documentos não estruturados convertendo-os em dados estruturados usando AI Functions, dividir texto em partes (chunks) para recuperação semântica, criar índices de Vector Search e criar Knowledge Assistants prontos para produção com suporte de várias fontes de conhecimento.

Building Agentic Applications on Databricks: este curso ensina os alunos a criar aplicações agênticas de nível de produção no Databricks. Os alunos aprendem a criar ferramentas de agente governadas usando Unity Catalog e MCP, criar sistemas de agente único e multiagente com o OpenAI Agents SDK e aproveitar o Agent Bricks e o Genie para casos de uso de knowledge assistant orquestrados com um agente supervisor. O curso abrange toda a progressão, desde a prototipagem de ferramentas até a implantação em produção, com experiência prática usando o rastreamento (tracing) do MLflow para observar a execução do agente.

Agent Evaluation on Databricks: este curso ensina os alunos a avaliar sistematicamente agentes de IA usando o framework de avaliação do MLflow, abordando os desafios exclusivos dos sistemas de IA não determinísticos com os quais os testes de software tradicionais não conseguem lidar. Os alunos aprendem a implementar várias abordagens de avaliação, incluindo juízes integrados (built-in judges) para critérios comuns, como correção e segurança, juízes baseados em diretrizes para requisitos específicos de negócios e juízes personalizados para necessidades especializadas. O curso abrange tanto a avaliação offline usando conjuntos de dados (datasets) selecionados quanto o monitoramento de produção online, com experiência prática usando os recursos de rastreamento (tracing) do MLflow para entender os padrões de execução do agente e coletar feedback humano de diferentes tipos de partes interessadas. Por meio de demonstrações e laboratórios práticos, os alunos desenvolvem habilidades na criação de fluxos de trabalho de avaliação que impulsionam melhorias contínuas de qualidade ao longo do ciclo de vida de desenvolvimento de agentes de IA.

Deploying and Monitoring Agent Applications on Databricks: este curso aborda o ciclo de vida completo para implantar e monitorar agentes de IA generativa no Databricks. Os participantes aprenderão a implantar agentes como Databricks Apps usando Declarative Automation Bundles (DABs), integrar ferramentas por meio do Model Context Protocol (MCP), instrumentar agentes com o MLflow Tracing e avaliar a qualidade em produção usando scorers, juízes multi-turno e avaliação online. Por meio de demos e laboratórios práticos, os participantes ganharão experiência prática na criação, observação e monitoramento de agentes de IA de nível de produção na plataforma Databricks.

Languages Available: English | 日本語 | Português BR | 한국어

Paid
16h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.