Ir para o conteúdo principal

Databricks Performance Optimization - Portuguese BR

O Databricks Performance Optimization ensina engenheiros e analistas de dados a diagnosticar, medir e corrigir gargalos de desempenho na Databricks Data Intelligence Platform, além de relacionar as melhorias de desempenho aos custos. O curso segue um fluxo de trabalho que prioriza a medição e a plataforma: deixar que as otimizações automáticas da plataforma façam o trabalho pesado, verificar o que foi aplicado usando Query Profile e tabelas do sistema, e então ajustar manualmente onde necessário.


Os alunos constroem uma base para medir o desempenho com Query Profile, Performance Insights e tabelas do sistema de query history. A partir daí, exploram técnicas de otimização key, incluindo configuração de dados e tabelas gerenciadas com ajuste automático, liquid clustering, cache e resultados intermediários, shuffle, skew, spill, explosões de linhas, desempenho do driver, Python UDFs, serverless compute, Photon e atribuição de custos.


Ao longo do curso, os alunos analisam queries deliberadamente lentas sobre dados sintéticos de varejo e observam como diferentes técnicas de otimização afetam o desempenho. Eles utilizam evidências como pruning de arquivos, tempo de execução de tarefas, cobertura do Photon e custos para avaliar as melhorias. Dois laboratórios baseados em cenários reforçam o fluxo de trabalho de otimização, desde o diagnóstico até a validação.


Nota: 

1. Este curso faz parte da série de cursos "Data Engineering Avançada com o Databricks".

Para os ficheiros das aulas SCORM, por favor certifique-se de fechar a janela SCORM após concluir o conteúdo. Não clique no botão 'Next Lesson', pois isso pode impedir que o módulo SCORM seja marcado como completo.


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Professional
Duration
3h
Prerequisites

O conteúdo foi desenvolvido para participantes com essas competências/conhecimentos/habilidades:

• Navegar pelo Databricks workspace e executar notebooks

• Escrever SQL intermediário, incluindo joins e agregações

• Escrever PySpark usando transformações e ações de DataFrame

• Trabalhar com tabelas Delta Lake e conceitos fundamentais do Unity Catalog, incluindo catálogos, esquemas, tabelas e tabelas gerenciadas

• Compreender os conceitos fundamentais de execução do Spark, incluindo partições, transformações e avaliação lazy

• Familiaridade básica com Lakeflow Jobs, incluindo agendamento e execução de cargas de trabalho de notebook como jobs

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Build Data Pipelines with Apache Spark Declarative Pipelines - Portuguese BR

Este curso apresenta aos usuários os conceitos e habilidades essenciais necessários para criar pipelines de dados usando pipelines declarativos do Lakeflow em Databricks para ingestão e processamento incrementais em lote ou transmissão por meio de várias streaming tables e materialized views. Projetado para engenheiros de dados novos em pipelines declarativos Lakeflow, o curso fornece uma visão geral abrangente dos principais componentes, como processamento incremental de dados, streaming tables, materialized views e views temporárias, destacando suas finalidades e diferenças específicas.

Os tópicos abordados incluem:

- Desenvolvimento e depuração de pipelines ETL com o editor de vários arquivos no Lakeflow usando SQL (com exemplos de código Python fornecidos)

- Como os pipelines declarativos do Lakeflow acompanham dependências de dados em um pipeline através do gráfico de pipeline

- Configuração de recursos de computação do pipeline, ativos de dados, modos de gatilho e outras opções avançadas.

 Em seguida, o curso apresenta as expectativas de qualidade de dados no Lakeflow, orientando os usuários pelo processo de integração de expectativas em pipelines para validar e impor a integridade dos dados. Em seguida, os alunos explorarão como colocar um pipeline em produção, incluindo opções de agendamento, modo de produção e habilitação do log de eventos do pipeline para monitorar o desempenho e a integridade do pipeline.

 Finalmente, o curso aborda como implementar a captura de dados de alterações (CDC) usando a sintaxe APPLY CHANGES INTO dentro dos Pipelines Declarativos do Lakeflow para gerenciar dimensões que mudam lentamente (SCD Tipo 1 e Tipo 2), preparando os usuários para integrar CDC em seus próprios pipelines.

Languages Available: English | 日本語 | Português BR | 한국어

Subscription
4h
Lab
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.