Advanced Techniques with Apache Spark Declarative Pipelines - Portuguese BR

Este curso explora o Declarative Pipelines do Apache Spark da Databricks (SDP) para a construção de pipelines de transmissão prontos para produção. Você aprenderá padrões de design avançados, aplicação robusta de qualidade de dados e integração entre plataformas, essenciais para a engenharia lakehouse no mundo real.

Ao longo do curso, você se aprofundará em técnicas modernas de ingestão de dados e processamento, dominando ferramentas como Liquid Clustering para otimização de configuração e o padrão Multiplex Streaming para eventos com esquemas mistos. Ao final dos módulos, você saberá como lidar com confiança com a evolução do esquema, automatizar o Change Data Capture (CDC) e garantir a integridade de dados.

Por meio de aulas e demonstrações práticas, você irá:

• Construir pipelines com múltiplos fluxos para ingerir dados de múltiplas fontes em uma Tabela Bronze unificada.

• Aplicar Liquid Clustering e Expectativas de Qualidade de Dados nas camadas Prata e Ouro.

• Implementar o padrão Multiplex com Iceberg UniForm para acesso a dados entre plataformas.

• Automatizar o acompanhamento de história do SCD Tipo 2 usando AUTO CDC INTO.

• Projetar pipelines de quarentena com zero perda de dados para auditar e gerenciar registros inválidos.

Observação: A Databricks Academy está a migrar para um formato baseado em notebooks para as aulas dentro do ambiente Databricks, descontinuando o uso de diapositivos nas aulas. Pode aceder aos notebooks das aulas no ambiente de laboratório Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Professional

Duration

Prerequisites

No mínimo, você deve conhecer os itens a seguir antes de tentar aprender esse conteúdo:

• Spark Declarative Pipelines — Conclusão do curso "Build Data Pipelines with Apache Spark Declarative Pipelines", ou familiaridade com CREATE OR REFRESH STREAMING TABLE, CONSTRAINTS e a interface de Pipelines

• Delta Lake Fundamentals — Compreensão de tabelas Delta e como o Delta gerencia arquivos de dados e logs de transações

• Conceitos de Transmissão — Conhecimento de transmissão em micro-lotes, checkpointing e processamento por tempo de evento no SDP

• Proficiência em SQL — Capacidade de ler e escrever SQL, incluindo SELECT, JOIN, MERGE, CASE WHEN e funções de agregação comuns

• Python in Databricks Notebooks — Familiaridade com leitura e execução de código Python em Databricks Notebooks

• Unity Catalog Basics — Compreensão de catálogos, esquemas, tabelas e volumes no Unity Catalog

Outline

Técnicas Avançadas com Spark Declarative Pipelines

• Introdução a Múltiplos Fluxos, Expectativas e Liquid Clustering no SDP

• Demonstração: Multi Flow SDP com Liquid Clustering e Qualidade de Dados

• Introdução à Transmissão Multiplex, Sinks Delta e Leituras Iceberg

• Demonstração: Transmissão Multiplex SDP com Sinks Delta e Leituras Iceberg

• Revisão de Change Data Capture (CDC)

• Demonstração: Automatizando SCD Type 2 com AUTO CDC no Apache Spark Declarative Pipelines

• Verificações Avançadas de Qualidade de Dados e Expectativas no SDP

• Demonstração: Advanced Data Quality Checks and Expectation in SDP

• Laboratório: Construindo um Pipeline Ecommerce Multi-Fonte com SDP

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Introduction to Python for Data Science and Data Engineering - Portuguese BR

Este curso é destinado a iniciantes completos em Python para fornecer os fundamentos da interação programática com dados. O curso começa com uma introdução básica a expressões de programação, variáveis e tipos de dados. Em seguida, avança para instruções condicionais e de controle, funções, tipos de Coleção, loops, tratamento de erros e classes. Você aprenderá a estender o Python com bibliotecas externas e ganhará experiência usando a biblioteca Pandas para análise e visualização de dados, incluindo o escalonamento de Workflows do Pandas com Apache Spark. Por fim, você irá Explorar os fundamentos da computação em cloud. Ao longo do curso, você obterá prática prática por meio de exercícios de laboratório, com recurso adicionais para aprofundar seu conhecimento de programação após a aula.

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, deixando de usar apresentações de slides para as palestras. Você pode acessar os cadernos das palestras no ambiente de laboratório Vocareum.

Generative AI Engineer

Generative AI Engineering with Databricks - Portuguese BR

Este curso é destinado a cientistas de dados, engenheiros de machine learning e outros profissionais de dados que desejam criar aplicações de IA generativa usando os frameworks mais recentes e populares e os recursos do Databricks.

Observação: a Databricks Academy está migrando para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, deixando de usar apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de laboratório Vocareum.

A seguir, descrevemos cada um dos quatro módulos de quatro horas incluídos neste curso.

Building RAG Agents with Agent Bricks: este curso oferece treinamento prático para criar agentes de recuperação usando o Databricks Agent Bricks. Os participantes aprenderão a explorar e consultar Knowledge Assistants, analisar documentos não estruturados convertendo-os em dados estruturados usando AI Functions, dividir texto em partes (chunks) para recuperação semântica, criar índices de Vector Search e criar Knowledge Assistants prontos para produção com suporte de várias fontes de conhecimento.

Building Agentic Applications on Databricks: este curso ensina os alunos a criar aplicações agênticas de nível de produção no Databricks. Os alunos aprendem a criar ferramentas de agente governadas usando Unity Catalog e MCP, criar sistemas de agente único e multiagente com o OpenAI Agents SDK e aproveitar o Agent Bricks e o Genie para casos de uso de knowledge assistant orquestrados com um agente supervisor. O curso abrange toda a progressão, desde a prototipagem de ferramentas até a implantação em produção, com experiência prática usando o rastreamento (tracing) do MLflow para observar a execução do agente.

Agent Evaluation on Databricks: este curso ensina os alunos a avaliar sistematicamente agentes de IA usando o framework de avaliação do MLflow, abordando os desafios exclusivos dos sistemas de IA não determinísticos com os quais os testes de software tradicionais não conseguem lidar. Os alunos aprendem a implementar várias abordagens de avaliação, incluindo juízes integrados (built-in judges) para critérios comuns, como correção e segurança, juízes baseados em diretrizes para requisitos específicos de negócios e juízes personalizados para necessidades especializadas. O curso abrange tanto a avaliação offline usando conjuntos de dados (datasets) selecionados quanto o monitoramento de produção online, com experiência prática usando os recursos de rastreamento (tracing) do MLflow para entender os padrões de execução do agente e coletar feedback humano de diferentes tipos de partes interessadas. Por meio de demonstrações e laboratórios práticos, os alunos desenvolvem habilidades na criação de fluxos de trabalho de avaliação que impulsionam melhorias contínuas de qualidade ao longo do ciclo de vida de desenvolvimento de agentes de IA.

Deploying and Monitoring Agent Applications on Databricks: este curso aborda o ciclo de vida completo para implantar e monitorar agentes de IA generativa no Databricks. Os participantes aprenderão a implantar agentes como Databricks Apps usando Declarative Automation Bundles (DABs), integrar ferramentas por meio do Model Context Protocol (MCP), instrumentar agentes com o MLflow Tracing e avaliar a qualidade em produção usando scorers, juízes multi-turno e avaliação online. Por meio de demos e laboratórios práticos, os participantes ganharão experiência prática na criação, observação e monitoramento de agentes de IA de nível de produção na plataforma Databricks.

Languages Available: English | 日本語 | Português BR | 한국어

Generative AI Engineer

Deploying and Monitoring Agent Applications on Databricks - Portuguese BR

Este curso cobre o ciclo de vida ponta a ponta para implantar e monitorar agents de generative AI no Databricks. Os participantes aprenderão a implantar agents como Databricks Apps usando Declarative Automation Bundles (DABs), integrar tools via Model Context Protocol (MCP), instrumentar agents com MLflow Tracing e avaliar a qualidade em produção usando scorers, judges multi-turn e avaliação online. Por meio de demos e labs hands-on, os participantes obterão experiência prática criando, observando e monitorando AI agents de nível de produção na plataforma Databricks.