Ir para o conteúdo principal

Build Data Pipelines with Apache Spark Declarative Pipelines - Portuguese BR

Este curso apresenta aos usuários os conceitos essenciais e as habilidades necessárias para construir pipelines de dados usando Apache Spark™ Declarative Pipelines (SDP) no Databricks para ingestão e processamento incremental em lotes ou transmissão por meio de múltiplas tabelas de transmissão e visualizações materializadas. Desenvolvido para engenheiros de dados iniciantes no Spark Declarative Pipelines, o curso oferece uma visão abrangente dos componentes principais, como processamento incremental de dados, tabelas de transmissão, visualizações materializadas e visualizações temporárias, destacando seus propósitos específicos e diferenças.


Os tópicos abordados incluem:

• Desenvolvimento e depuração de pipelines ETL com o editor de múltiplos arquivos no Spark Declarative Pipelines usando SQL (com exemplos de código em Python fornecidos)

• Como o Spark Declarative Pipelines rastreia dependências de dados em um pipeline por meio do gráfico do pipeline

• Configuração de recurso de compute do pipeline, ativos de dados, modos de gatilho e outras opções avançadas


Em seguida, o curso apresenta as expectativas de qualidade de dados no Spark Declarative Pipelines, orientando os usuários no processo de integração de expectativas aos pipelines para validar e garantir a integridade de dados. Os alunos irão então explorar como colocar um pipeline em produção, incluindo opções de agendamento e habilitação do registro de eventos do pipeline para monitorar o desempenho e a integridade do pipeline.


Por fim, o curso aborda como implementar change data capture (CDC) usando a sintaxe AUTO CDC INTO dentro do Spark Declarative Pipelines para gerenciar slowly changing dimensions (SCD Tipo 1 e Tipo 2), preparando os usuários para integrar CDC em seus próprios pipelines.


Nota: a Databricks Academy está migrando para um formato baseado em notebooks nas sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de lab do Vocareum.


Languages Available: English日本語 | Português BR | 한국어

Skill Level
Associate
Duration
4h
Prerequisites

Neste curso, o conteúdo foi desenvolvido para participantes com estas habilidades/conhecimentos/competências:

Conhecimento básico da Databricks Data Intelligence platform, incluindo Databricks Workspaces, Apache Spark, Delta Lake, a Arquitetura Medallion, Lakeflow Jobs e Unity Catalog.

Experiência na ingestão de dados brutos em tabelas Delta, incluindo o uso da função SQL read_files para carregar formatos como CSV, JSON, TXT e Parquet.

Proficiência na transformação de dados usando SQL, incluindo a escrita de consultas de nível intermediário e um entendimento básico de joins SQL.

Compreensão de conceitos de ETL e fluxos de trabalho em lotes/transmissão.

Outline

• Introdução à Engenharia de Dados no Databricks

• Demo - Configuração do Curso e Criação de um Pipeline

• Visão Geral do Projeto do Curso e Tipos de Dataset

• Desenvolvimento Simplificado de Pipeline e Configurações Comuns de Pipeline

• Demo - Desenvolvendo um Simple Pipeline

• Garantir a Qualidade dos Dados com Expectations

• Demo - Adicionando Expectativas de Qualidade de Dados

• Lab - Create a Pipeline

• Joins de Transmissão e Implantação de Pipelines em Produção

• Demo - Implantando um Pipeline em Produção

• Visão Geral de Change Data Capture (CDC)

• Demo - Change Data Capture com AUTO CDC com SCD TYPE 1

• Resumo e Próximos Passos

• Laboratório Bônus - AUTO CDC INTO com SCD Type 1

Upcoming Public Classes

Date
Time
Your Local Time
Language
Price
Sep 01
09 AM - 01 PM (America/Sao_Paulo)
-
Portuguese - BR
$750.00
Oct 06
09 AM - 01 PM (America/Sao_Paulo)
-
Portuguese - BR
$750.00
Nov 03
09 AM - 01 PM (America/Sao_Paulo)
-
Portuguese - BR
$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Generative AI Engineer

Generative AI Engineering with Databricks - Portuguese BR

Este curso é destinado a cientistas de dados, engenheiros de machine learning e outros profissionais de dados que desejam criar aplicações de IA generativa usando os frameworks mais recentes e populares e os recursos do Databricks.

Observação: a Databricks Academy está migrando para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, deixando de usar apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de laboratório Vocareum.

A seguir, descrevemos cada um dos quatro módulos de quatro horas incluídos neste curso.

Building RAG Agents with Agent Bricks: este curso oferece treinamento prático para criar agentes de recuperação usando o Databricks Agent Bricks. Os participantes aprenderão a explorar e consultar Knowledge Assistants, analisar documentos não estruturados convertendo-os em dados estruturados usando AI Functions, dividir texto em partes (chunks) para recuperação semântica, criar índices de Vector Search e criar Knowledge Assistants prontos para produção com suporte de várias fontes de conhecimento.

Building Agentic Applications on Databricks: este curso ensina os alunos a criar aplicações agênticas de nível de produção no Databricks. Os alunos aprendem a criar ferramentas de agente governadas usando Unity Catalog e MCP, criar sistemas de agente único e multiagente com o OpenAI Agents SDK e aproveitar o Agent Bricks e o Genie para casos de uso de knowledge assistant orquestrados com um agente supervisor. O curso abrange toda a progressão, desde a prototipagem de ferramentas até a implantação em produção, com experiência prática usando o rastreamento (tracing) do MLflow para observar a execução do agente.

Agent Evaluation on Databricks: este curso ensina os alunos a avaliar sistematicamente agentes de IA usando o framework de avaliação do MLflow, abordando os desafios exclusivos dos sistemas de IA não determinísticos com os quais os testes de software tradicionais não conseguem lidar. Os alunos aprendem a implementar várias abordagens de avaliação, incluindo juízes integrados (built-in judges) para critérios comuns, como correção e segurança, juízes baseados em diretrizes para requisitos específicos de negócios e juízes personalizados para necessidades especializadas. O curso abrange tanto a avaliação offline usando conjuntos de dados (datasets) selecionados quanto o monitoramento de produção online, com experiência prática usando os recursos de rastreamento (tracing) do MLflow para entender os padrões de execução do agente e coletar feedback humano de diferentes tipos de partes interessadas. Por meio de demonstrações e laboratórios práticos, os alunos desenvolvem habilidades na criação de fluxos de trabalho de avaliação que impulsionam melhorias contínuas de qualidade ao longo do ciclo de vida de desenvolvimento de agentes de IA.

Deploying and Monitoring Agent Applications on Databricks: este curso aborda o ciclo de vida completo para implantar e monitorar agentes de IA generativa no Databricks. Os participantes aprenderão a implantar agentes como Databricks Apps usando Declarative Automation Bundles (DABs), integrar ferramentas por meio do Model Context Protocol (MCP), instrumentar agentes com o MLflow Tracing e avaliar a qualidade em produção usando scorers, juízes multi-turno e avaliação online. Por meio de demos e laboratórios práticos, os participantes ganharão experiência prática na criação, observação e monitoramento de agentes de IA de nível de produção na plataforma Databricks.

Languages Available: English | 日本語 | Português BR | 한국어

Paid
16h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.