Machine Learning at Scale - Portuguese BR

Neste curso, você adquirirá conhecimento teórico e prático sobre a arquitetura do Apache Spark e sua aplicação em cargas de trabalho de machine learning no Databricks. Você aprenderá quando usar o Spark para preparação de dados, treinamento de modelos e implantação, além de obter experiência prática com Spark ML e APIs do Pandas no Spark. Este curso apresentará conceitos avançados, como ajuste de hiperparâmetros e escalabilidade do Optuna com Spark. Este curso utilizará recursos e conceitos introduzidos no curso associado, como MLflow e Unity Catalog, para empacotamento e governança abrangentes de modelos.

Nota: A Databricks Academy está fazendo a transição para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides para as aulas. Você pode acessar os notebooks de aula no ambiente de laboratório do Vocareum.

Skill Level

Professional

Duration

Prerequisites

Neste curso, o conteúdo foi desenvolvido para participantes com as seguintes habilidades/conhecimentos/competências:

• Familiaridade com o Databricks Data Intelligence Platform e operações básicas de workspace (criar clusters, executar código em notebooks, usar operações básicas de notebook, importar repositórios do Git)

• Experiência intermediária em programação com Python, incluindo bibliotecas de manipulação de dados (Pandas, NumPy) e frameworks de machine learning (Scikit-Learn)

• Conhecimento básico de Apache Spark e fundamentos de PySpark, incluindo DataFrames, transformações e ações para processamento distribuído de dados

• Compreensão de conceitos de machine learning, incluindo treinamento de modelos, avaliação, ajuste de hiperparâmetros e fluxos de trabalho de implantação

• Experiência intermediária com operações do Delta Lake (criar tabelas, realizar atualizações, otimizar arquivos, funcionalidade de viagem do tempo)

• Familiaridade básica com MLflow para acompanhamento de experimentos, registro de modelos e operações de Model Registry

• Compreensão de conceitos de computação distribuída (arquitetura de cluster, paralelização, considerações de escalabilidade)

• Conhecimento básico de SQL para consulta e manipulação de dados em ambientes Spark

Outline

Desenvolvimento de Modelos com Spark

• Visão Geral da Arquitetura do Spark

• Introdução ao Spark ML para Desenvolvimento de Modelos

• Acompanhamento e Empacotamento de Modelos com MLflow

• Demonstração: Desenvolvimento de Modelos com Spark

• Laboratório: Desenvolvimento de Modelos com Spark

Ajuste de Modelo com Optuna no Spark

• Visão Geral do Ajuste de Hiperparâmetros

• Frameworks de HPO Escaláveis no Databricks

• Demonstração: Ajuste de Hiperparâmetros com SparkML

• Demonstração: HPO com Ray Tune

Implantação de Modelos com Spark

• Implantação com Spark

• Inferência com Spark

• Demonstração: Implantação de Modelos com Spark

• Demonstração: Estratégias de Otimização com Spark e Delta Lake

• Laboratório: Implantação de Modelos com Spark

APIs Pandas

• Escalando com APIs Pandas

• Pandas UDFs e APIs de Funções

• Demonstração: APIs Pandas

• Laboratório: APIs Pandas

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Advanced Techniques with Apache Spark Declarative Pipelines - Portuguese BR

Este curso explora o Apache Spark Declarative Pipelines (SDP) do Databricks para a construção de pipelines de transmissão em nível de produção. Você aprenderá padrões de design avançados, aplicação robusta de qualidade de dados e integração entre plataformas, essenciais para a engenharia de lakehouse no mundo real.

Ao longo do curso, você mergulhará em técnicas modernas de ingestão de dados e processamento, dominando ferramentas como Liquid Clustering para otimização de configuração e o padrão Multiplex Streaming para eventos com esquemas mistos. Ao final dos módulos, você saberá como lidar com confiança com a evolução do esquema, automatizar o Change Data Capture (CDC) e garantir a integridade de dados.

Observação:

1. Este curso faz parte da série de cursos 'Engenharia de Dados Avançada com Databricks'.

2. A Databricks Academy está migrando para um formato baseado em notebooks para as sessões em sala de aula no ambiente Databricks, descontinuando o uso de apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de laboratório Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话

Catalog Management and Data Organization - Portuguese BR

Neste curso, você aprenderá a projetar, implementar e gerenciar estruturas de Catálogo e organização de dados em grande escala com Unity Catalog na Databricks Data and AI Platform. Dividido em cinco módulos, o curso começa posicionando o Unity Catalog dentro do modelo de implantação cloud, abordando o console de conta, os metastores regionais e as funções de administrador que o habilitam. Em seguida, você traduzirá a topologia organizacional (unidades de negócios, regiões e ambientes de dev/QA/prod) em um design escalável de Catálogo e schema, com convenções de nomenclatura, propriedade e delegação de MANAGE. Na sequência, o curso aborda a integração segura de armazenamento com credenciais de armazenamento, locais externos, a hierarquia de armazenamento gerenciado, tabelas gerenciadas versus externas, Volumes e Lakehouse Federation. Você então aplicará padrões de acesso e estratégias de isolamento, incluindo vinculação workspace-Catálogo, herança de privilégios, filtros de linha, máscaras de coluna e políticas de controle de acesso baseado em atributos (ABAC), e validará os resultados com sinais de auditoria. Por fim, o curso encerra com as melhores práticas para projetar, gerenciar e operar um ambiente Unity Catalog. As demonstrações práticas e os laboratórios são executados em compute serverless e incluem os passos curtos do Genie Code.

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, deixando de usar apresentações de slides para as palestras. Você pode acessar os cadernos das palestras no ambiente de laboratório Vocareum.

Databricks Performance Optimization - Portuguese BR

O Databricks Performance Optimization ensina engenheiros e analistas de dados a diagnosticar, medir e corrigir gargalos de desempenho na Databricks Data Intelligence Platform, além de relacionar as melhorias de desempenho aos custos. O curso segue um fluxo de trabalho que prioriza a medição e a plataforma: deixar que as otimizações automáticas da plataforma façam o trabalho pesado, verificar o que foi aplicado usando Query Profile e tabelas do sistema, e então ajustar manualmente onde necessário.

Os alunos constroem uma base para medir o desempenho com Query Profile, Performance Insights e tabelas do sistema de query history. A partir daí, exploram técnicas de otimização key, incluindo configuração de dados e tabelas gerenciadas com ajuste automático, liquid clustering, cache e resultados intermediários, shuffle, skew, spill, explosões de linhas, desempenho do driver, Python UDFs, serverless compute, Photon e atribuição de custos.

Ao longo do curso, os alunos analisam queries deliberadamente lentas sobre dados sintéticos de varejo e observam como diferentes técnicas de otimização afetam o desempenho. Eles utilizam evidências como pruning de arquivos, tempo de execução de tarefas, cobertura do Photon e custos para avaliar as melhorias. Dois laboratórios baseados em cenários reforçam o fluxo de trabalho de otimização, desde o diagnóstico até a validação.

Nota: A Databricks Academy está migrando as sessões em sala de aula no ambiente Databricks para um formato baseado em notebooks, descontinuando o uso de apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de laboratório do Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话