Build Data Pipelines with Lakeflow Spark Declarative Pipelines - Portuguese BR

Este curso apresenta aos usuários os conceitos e habilidades essenciais necessários para criar pipelines de dados usando Lakeflow Spark Declarative Pipelines em Databricks para ingestão e processamento incrementais em lote ou transmissão por meio de várias streaming tables e materialized views. Projetado para engenheiros de dados novos em Spark Declarative Pipelines, o curso fornece uma visão geral abrangente dos principais componentes, como processamento incremental de dados, streaming tables, materialized views e views temporárias, destacando suas finalidades e diferenças específicas.

Os tópicos abordados incluem:

- Desenvolvimento e depuração de pipelines ETL com o editor de vários arquivos no Lakeflow usando SQL (com exemplos de código Python fornecidos)

- Como os Lakeflow Spark Declarative Pipelines acompanham dependências de dados em um pipeline através do gráfico de pipeline

- Configuração de recursos de compute do pipeline, ativos de dados, modos de gatilho e outras opções avançadas.

Em seguida, o curso apresenta as expectativas de qualidade de dados no Spark Declarative Pipelines, orientando os usuários pelo processo de integração de expectativas em pipelines para validar e impor a integridade dos dados. Em seguida, os alunos explorarão como colocar um pipeline em produção, incluindo opções de agendamento, modo de produção e habilitação do log de eventos do pipeline para monitorar o desempenho e a integridade do pipeline.

Finalmente, o curso aborda como implementar a captura de dados de alterações (CDC) usando a sintaxe AUTO CDC INTO dentro dos Spark Declarative Pipelines para gerenciar dimensões que mudam lentamente (SCD Tipo 1 e Tipo 2), preparando os usuários para integrar CDC em seus próprios pipelines.

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

Prerequisites

⇾ Noções básicas sobre a Databricks Data Intelligence Platform, incluindo Databricks Workspaces, Apache Spark, Delta Lake, Medallion Architecture e Unity Catalog.

⇾ Experiência na ingestão de dados brutos em tabelas Delta, incluindo o uso da read_files função SQL para carregar formatos como CSV, JSON, TXT e Parquet.

⇾ Proficiência na transformação de dados usando SQL, incluindo escrever queries de nível intermediário e uma compreensão básica de joins SQL.

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Advanced Data Engineering with Databricks - Portuguese BR

Este curso serve como um ponto de entrada apropriado para aprender Engenharia de Dados Avançada com Databricks. Abaixo, descreveremos cada um dos quatro módulos de quatro horas incluídos neste curso.

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, descontinuando o uso de apresentações de slides nas primeiras módulo. Você pode acessar os cadernos das aulas no ambiente de laboratório Vocareum.

Advanced Techniques with Spark Declarative Pipelines

Este curso explora os Spark Declarative Pipelines (SDP) da Databricks Lakeflow para a construção de pipelines de transmissão de nível de produção. Aprenderá padrões de design avançados, aplicação robusta da qualidade de dados e integração multiplataforma, essenciais para a engenharia de lakehouses no mundo real.

Ao longo do curso, irá aprofundar técnicas modernas de ingestão e processamento de dados, dominando ferramentas como o Liquid Clustering para otimização de layout e o padrão Multiplex Streaming para eventos com esquemas mistos. No final dos módulos, saberá como lidar com confiança com a evolução de esquemas, automatizar a Change Data Capture (CDC) e garantir a integridade dos dados.

Através de aulas teóricas e demonstrações práticas, irá:

• Construir pipelines de múltiplos fluxos para ingerir dados de múltiplas fontes numa tabela Bronze unificada.

• Aplicar o algoritmo Liquid Clustering e as Expectativas de Qualidade de Dados nas camadas Prata e Ouro.

• Implementar o padrão Multiplex com Iceberg UniForm para acesso a dados multiplataforma.

• Automatizar o seguimento do histórico de SCD Tipo 2 utilizando o AUTO CDC INTO.

• Conceber pipelines de quarentena sem perda de dados para auditar e gerir registros inválidos.

Databricks Data Privacy

Este conteúdo oferece um guia completo para a gestão da privacidade de dados no Databricks. Aborda temas essenciais como a arquitetura do Delta Lake, o isolamento regional de dados, a compliance com o RGPD/CCPA e a utilização do Change Data Feed (CDF). Através de demonstrações práticas e laboratórios interativos, os participantes aprendem a utilizar as funcionalidades do Unity Catalog para proteger dados confidenciais e garantir a compliance, capacitando-os para salvaguardar a integridade dos dados de forma eficaz.

Databricks Performance Optimization

Neste curso, aprenderá como otimizar as cargas de trabalho e o layout físico com o Spark e o Delta Lake, bem como analisar a interface do utilizador do Spark para avaliar o desempenho e depurar aplicações. Abordaremos temas como transmissão, net clustering, data skipping, cache, photons e muito mais.

Automated Deployment with Declarative Automation Bundles

Este curso fornece uma revisão abrangente dos princípios DevOps e da sua aplicação a projetos Databricks. Começa com uma visão geral do núcleo DevOps, DataOps, continuous integration (CI), continuous deployment (CD) e testes, e explora como estes princípios podem ser aplicados aos pipelines de engenharia de dados.

O curso foca-se depois na implementação contínua dentro do processo CI/CD, examinando ferramentas como a Databricks API REST, SDK e CLI para a implementação do projeto. Vai aprender sobre os Declarative Automation Bundles (DABs) e como se encaixam no processo CI/CD. Vai aprofundar os seus componentes-chave, a estrutura de pastas e como otimizam a implementação em vários ambientes-alvo em Databricks. Também aprenderá a adicionar variáveis, modificar, validar, implementar e executar Declarative Automation Bundles para múltiplos ambientes com diferentes configurações, utilizando a Databricks CLI.

Por fim, o curso apresenta o Visual Studio Code como um Interactive Development Environment (IDE) para construir, testar e implementar Declarative Automation Bundles localmente, otimizando o seu processo de desenvolvimento. O curso conclui com uma introdução à automatização de pipelines de implementação utilizando GitHub Actions para melhorar o fluxo de trabalho CI/CD com Declarative Automation Bundles.

No final deste curso, estará equipado para automatizar implementações de projetos Databricks com Declarative Automation Bundles, aumentando a eficiência através de práticas DevOps.

Languages Available: English | 日本語 | Português BR | 한국어

Deploy Workloads with Lakeflow Jobs - Portuguese BR

O curso Implante cargas de trabalho com Lakeflow Jobs ensina como orquestrar e automatizar fluxos de trabalho de dados, análises e IA usando o Lakeflow Jobs como uma plataforma de orquestração unificada dentro do ecossistema Databricks.

⇾ Você aprenderá a projetar e implementar cargas de trabalho de dados usando gráficos acíclicos direcionados (DAGs), configurar várias opções de agendamento e implementar recursos avançados de fluxo de trabalho, como execução condicional de tarefas, dependências run-if e loops for each.

⇾ O curso aborda as melhores práticas para criar pipelines robustos e prontos para produção com seleção adequada de computação, orquestração modular, técnicas de tratamento de erros e design tolerante a falhas, tudo integrado nativamente à plataforma de inteligência de dados Databricks.

Generative AI Engineer

Generative AI Engineering with Databricks - Portuguese BR

Este curso é destinado a cientistas de dados, engenheiros de aprendizado de máquina e outros profissionais de dados que desejam criar aplicativos de IA generativa usando as estruturas mais recentes e populares e os recursos do Databricks.

A seguir, descrevemos cada um dos quatro módulos de quatro horas incluídos neste curso.

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, descontinuando o uso de apresentações de slides nas Os três primeiros módulos. Você pode acessar os cadernos das aulas no ambiente de laboratório Vocareum.

Building Retrieval Agents On Databricks: Este curso oferece formação prática para a criação de agentes de recuperação na Databricks Data Intelligence Platform. Os participantes aprenderão a analisar documentos não estruturados e a convertê-los em dados estruturados, a transformar e segmentar conteúdo para workflows de recuperação, a criar soluções de vector search para recuperação de documentos e a desenvolver agentes prontos para produção utilizando MLflow e Agent Bricks. O curso abrange todo o ciclo de vida do agente, desde o processamento de documentos até à geração de incorporações, vector indexing e implantação do agente com capacidades de governação.

Building Single-Agent Applications on Databricks: Este curso oferece formação prática para a criação de aplicações de agente único na Databricks Data Intelligence Platform. Os alunos aprenderão a criar AI Agents que utilizam as funções do Unity Catalog como ferramentas, a implementar um rastreio e monitorização abrangentes com o MLflow e a implementar agentes utilizando frameworks tradicionais como o LangChain e soluções modernas como o Agent Bricks. O curso abrange todo o ciclo de vida do agente, desde a criação e teste iniciais da ferramenta no AI Playground até à implementação em produção, com recursos de governação, avaliação e melhoria contínua.

Agent Evaluation on Databricks

Este curso ensina os alunos a avaliar sistematicamente os agentes de IA usando a framework de avaliação do MLflow, abordando os desafios exclusivos dos sistemas de IA não determinísticos que os testes de software tradicionais não conseguem lidar. Os alunos aprendem a implementar várias abordagens de avaliação, incluindo judges integrados para critérios comuns, como correção e segurança, guideline judges para requisitos específicos de negócios e judges personalizados para necessidades especializadas. O curso abrange avaliação off-line usando datasets selecionados e monitoramento de produção on-line, com experiência prática usando as capacidades de MLflow tracing para entender os padrões de execução do agente e coletar feedback humano de diferentes tipos de partes interessadas. Por meio de demonstrações práticas e laboratórios, os alunos desenvolvem habilidades na criação de fluxos de trabalho de avaliação que impulsionam melhorias contínuas de qualidade em todo o ciclo de vida de desenvolvimento de AI agent.

Generative AI Application Deployment and Monitoring: Pronto para aprender a implantar, operacionalizar e monitorar aplicativos de IA generativa? Este módulo o ajudará a adquirir habilidades na implantação de aplicativos de IA generativa usando ferramentas como o Model Serving. Também abordaremos como operacionalizar aplicativos de IA generativa seguindo as práticas recomendadas e as arquiteturas recomendadas. Por fim, discutiremos a ideia de monitorar aplicativos de IA generativa e seus componentes usando o Lakehouse Monitoring.

Languages Available: English | 日本語 | Português BR | 한국어