Monitoring and Optimizing Apache Spark Workloads on Databricks - Portuguese BR

Este curso abrange os principais componentes do Databricks platform e do Apache Spark com Delta Lake, com foco na arquitetura Lakehouse, no Unity Catalog e em técnicas de gestão de dados como transações ACID e manutenção de tabelas. Além disso, ensina os alunos a otimizar o desempenho de query por meio de particionamento, shuffles e ferramentas de ajuste, ao mesmo tempo em que utiliza o Spark UI para monitorar aplicações e resolver gargalos.

Nota: A Databricks Academy está fazendo a transição para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides para as aulas. Você pode acessar os notebooks de aula no ambiente de laboratório do Vocareum.

Languages Available: English | 日本語 | 한국어

Skill Level

Associate

Duration

Prerequisites

Neste curso, o conteúdo foi desenvolvido para participantes com as seguintes habilidades/conhecimentos/competências:

• Conhecimento básico de programação

• Familiaridade com Python

• Compreensão básica de consultas SQL (SELECT, JOIN, GROUP BY)

• Familiaridade com conceitos de processamento de dados

Outline

Apache Spark and Databricks

• Apache Spark and Databricks

• Demonstração: Explorando Spark no Databricks

Usando Apache Spark com Delta Lake

• Usando Apache Spark com Delta Lake

• Demonstração: Trabalhando com Delta Lake

• Laboratório: Trabalhando com Delta Lake

Otimizando Apache Spark

• Otimizando o Apache Spark

• Demonstração: Monitoramento e Otimização de Workloads Spark

• Laboratório: Otimizando Workloads do Spark

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Advanced Techniques with Apache Spark Declarative Pipelines - Portuguese BR

Este curso explora o Apache Spark Declarative Pipelines (SDP) do Databricks para a construção de pipelines de transmissão em nível de produção. Você aprenderá padrões de design avançados, aplicação robusta de qualidade de dados e integração entre plataformas, essenciais para a engenharia de lakehouse no mundo real.

Ao longo do curso, você mergulhará em técnicas modernas de ingestão de dados e processamento, dominando ferramentas como Liquid Clustering para otimização de configuração e o padrão Multiplex Streaming para eventos com esquemas mistos. Ao final dos módulos, você saberá como lidar com confiança com a evolução do esquema, automatizar o Change Data Capture (CDC) e garantir a integridade de dados.

Observação:

1. Este curso faz parte da série de cursos 'Engenharia de Dados Avançada com Databricks'.

2. A Databricks Academy está migrando para um formato baseado em notebooks para as sessões em sala de aula no ambiente Databricks, descontinuando o uso de apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de laboratório Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话

Catalog Management and Data Organization - Portuguese BR

Neste curso, você aprenderá a projetar, implementar e gerenciar estruturas de Catálogo e organização de dados em grande escala com Unity Catalog na Databricks Data and AI Platform. Dividido em cinco módulos, o curso começa posicionando o Unity Catalog dentro do modelo de implantação cloud, abordando o console de conta, os metastores regionais e as funções de administrador que o habilitam. Em seguida, você traduzirá a topologia organizacional (unidades de negócios, regiões e ambientes de dev/QA/prod) em um design escalável de Catálogo e schema, com convenções de nomenclatura, propriedade e delegação de MANAGE. Na sequência, o curso aborda a integração segura de armazenamento com credenciais de armazenamento, locais externos, a hierarquia de armazenamento gerenciado, tabelas gerenciadas versus externas, Volumes e Lakehouse Federation. Você então aplicará padrões de acesso e estratégias de isolamento, incluindo vinculação workspace-Catálogo, herança de privilégios, filtros de linha, máscaras de coluna e políticas de controle de acesso baseado em atributos (ABAC), e validará os resultados com sinais de auditoria. Por fim, o curso encerra com as melhores práticas para projetar, gerenciar e operar um ambiente Unity Catalog. As demonstrações práticas e os laboratórios são executados em compute serverless e incluem os passos curtos do Genie Code.

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, deixando de usar apresentações de slides para as palestras. Você pode acessar os cadernos das palestras no ambiente de laboratório Vocareum.

Databricks Performance Optimization - Portuguese BR

O Databricks Performance Optimization ensina engenheiros e analistas de dados a diagnosticar, medir e corrigir gargalos de desempenho na Databricks Data Intelligence Platform, além de relacionar as melhorias de desempenho aos custos. O curso segue um fluxo de trabalho que prioriza a medição e a plataforma: deixar que as otimizações automáticas da plataforma façam o trabalho pesado, verificar o que foi aplicado usando Query Profile e tabelas do sistema, e então ajustar manualmente onde necessário.

Os alunos constroem uma base para medir o desempenho com Query Profile, Performance Insights e tabelas do sistema de query history. A partir daí, exploram técnicas de otimização key, incluindo configuração de dados e tabelas gerenciadas com ajuste automático, liquid clustering, cache e resultados intermediários, shuffle, skew, spill, explosões de linhas, desempenho do driver, Python UDFs, serverless compute, Photon e atribuição de custos.

Ao longo do curso, os alunos analisam queries deliberadamente lentas sobre dados sintéticos de varejo e observam como diferentes técnicas de otimização afetam o desempenho. Eles utilizam evidências como pruning de arquivos, tempo de execução de tarefas, cobertura do Photon e custos para avaliar as melhorias. Dois laboratórios baseados em cenários reforçam o fluxo de trabalho de otimização, desde o diagnóstico até a validação.

Nota: A Databricks Academy está migrando as sessões em sala de aula no ambiente Databricks para um formato baseado em notebooks, descontinuando o uso de apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de laboratório do Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话