Databricks Performance Optimization - Portuguese BR

Neste curso, você aprenderá a otimizar cargas de trabalho com Spark e Delta Lake e analisar o Spark UI para avaliar desempenho e depurar aplicativos. Abordaremos tópicos como transmissão, Liquid Cluster, omissão de dados, cache, Photon e muito mais.

Nota: Este curso faz parte da série de cursos "Data Engineering Avançada com o Databricks".

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Professional

Duration

Prerequisites

O conteúdo foi desenvolvido para participantes com essas competências/

conhecimentos/habilidades:

Capacidade de executar tarefas básicas de desenvolvimento de código usando Databricks (criar clusters, executar código em notebooks, usar operações básicas de notebook, importar repos do git etc.)
Experiência intermediária em programação com PySpark
- Extrair dados de vários formatos de arquivo e fontes de dados
- Aplicar uma série de transformações comuns para limpar dados
- Remodelar e manipular dados complexos usando funções integradas avançadas
Experiência intermediária em programação com Delta Lake (criar tabelas, realizar atualizações completas e incrementais, compactar arquivos, restaurar versões anteriores, etc.)

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Customer registration Partner registration

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Deploy Workloads with Databricks Workflows - Portuguese BR

Ao programar tarefas com os jobs do Databricks, os aplicativos podem serem executados automaticamente para manter as tabelas no lakehouse atualizadas. Usar Databricks SQL para programar atualizações em queries e painéis permite percepções rápidas usando os dados mais recentes. Neste curso, os alunos serão apresentados a orquestração de tarefas usando a interface do usuário dos Jobs do Databricks Workflow. Opcionalmente, eles configurarão e irão programar painéis e alertas para refletir as atualizações dos pipelines de dados de produção.

Neste curso de meio dia, você aprenderá a orquestrar pipelines de dados com jobs do Databricks Workflow e programar atualizações de painel para manter as análises atualizadas. Abordaremos tópicos como introdução ao Databricks Workflows, como usar Databricks SQL para consultas sob demanda e como configurar e programar painéis e alertas para refletir atualizações em pipelines de dados de produção.

Nota: Este curso faz parte da série de cursos "Data Engineering Avançada com o Databricks".

Languages Available: English | 日本語 | Português BR | 한국어

Build Data Pipelines with Lakeflow Declarative Pipelines - Portuguese BR

Este curso apresenta aos usuários os conceitos e habilidades essenciais necessários para criar pipelines de dados usando pipelines declarativos do Lakeflow em Databricks para ingestão e processamento incrementais em lote ou transmissão por meio de várias streaming tables e materialized views. Projetado para engenheiros de dados novos em pipelines declarativos Lakeflow, o curso fornece uma visão geral abrangente dos principais componentes, como processamento incremental de dados, streaming tables, materialized views e views temporárias, destacando suas finalidades e diferenças específicas.

Os tópicos abordados incluem:

- Desenvolvimento e depuração de pipelines ETL com o editor de vários arquivos no Lakeflow usando SQL (com exemplos de código Python fornecidos)

- Como os pipelines declarativos do Lakeflow acompanham dependências de dados em um pipeline através do gráfico de pipeline

- Configuração de recursos de computação do pipeline, ativos de dados, modos de gatilho e outras opções avançadas.

Em seguida, o curso apresenta as expectativas de qualidade de dados no Lakeflow, orientando os usuários pelo processo de integração de expectativas em pipelines para validar e impor a integridade dos dados. Em seguida, os alunos explorarão como colocar um pipeline em produção, incluindo opções de agendamento, modo de produção e habilitação do log de eventos do pipeline para monitorar o desempenho e a integridade do pipeline.

Finalmente, o curso aborda como implementar a captura de dados de alterações (CDC) usando a sintaxe APPLY CHANGES INTO dentro dos Pipelines Declarativos do Lakeflow para gerenciar dimensões que mudam lentamente (SCD Tipo 1 e Tipo 2), preparando os usuários para integrar CDC em seus próprios pipelines.

Languages Available: English | 日本語 | Português BR | 한국어

Databricks Streaming and Delta Live Tables - Portuguese BR

Este curso oferece uma compreensão abrangente de Transmissão estruturada do Spark e Delta Lake, incluindo modelos de computação, configuração para leitura de transmissões e manutenção da qualidade dos dados em um ambiente de transmissão.

Nota: Este curso faz parte da série de cursos "Data Engineering Avançada com o Databricks".

Languages Available: English | 日本語 | Português BR | 한국어

Subscription

Lab

Professional