Ir para o conteúdo principal

Data Preparation for Machine Learning - Portuguese BR

Este curso ensina os fundamentos da preparação de dados para machine learning tradicional no Databricks. Os alunos carregam dados em tabelas Delta governadas pelo Unity Catalog e os exploram com Notebooks, visualizações integradas e Genie Code. Em seguida, realizam a limpeza de dados, tratam valores ausentes e outliers, dividem e amostram os dados sem vazamento de dados, e constroem ML pipelines reproduzíveis com Spark para imputação, codificação e padronização. Por fim, armazenam, governam e reutilizam recursos com Engenharia de Recursos no Unity Catalog. Isso inclui consultas point-in-time para conjuntos de treinamento sem vazamento e uma introdução ao serviço de recursos online com Online Feature Stores baseados em Lakebase. Cada módulo combina aulas expositivas com demonstrações práticas e um laboratório que são executados em compute serverless. O treinamento, o serviço e o monitoramento de modelos não são abordados; esses tópicos são ensinados nos cursos Machine Learning Model Development e Machine Learning Model Deployment. Este curso é destinado a cientistas de dados de nível associado e profissionais de machine learning que desejam uma base sólida em preparação de dados no Databricks.


Nota: A Databricks Academy está fazendo a transição para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides para as aulas. Você pode acessar os notebooks de aula no ambiente de laboratório do Vocareum.


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Associate
Duration
4h
Prerequisites

Neste curso, o conteúdo foi desenvolvido para participantes com as seguintes habilidades, conhecimentos e capacidades:

• Noções básicas de Databricks. Conclusão do curso Get Started with Databricks for Machine Learning, ou experiência equivalente.

      - Os alunos devem ser capazes de navegar pelo workspace, criar e executar notebooks e anexar um notebook a um compute, incluindo serverless compute. Eles também devem compreender o fluxo de trabalho básico de machine learning no Databricks.

• Python intermediário.

      - Os alunos devem ter facilidade para escrever Python para manipulação de dados. Experiência com Pandas é útil. Familiaridade básica com Spark DataFrames é útil, mas não obrigatória, pois o curso utiliza Spark DataFrames e Spark ML para todo o trabalho distribuído.

• SQL básico.

      - Os alunos devem ser capazes de ler e escrever instruções simples de SELECT, CREATE TABLE e GRANT. Várias demonstrações e laboratórios utilizam células SQL.

• Fundamentos de machine learning.

      - Os alunos devem estar familiarizados com recursos e rótulos, conjuntos de treinamento, validação e teste, e com o conceito de vazamento de dados. O treinamento de modelos em si não é ensinado neste curso.

• Formatos de dados e conceitos de lakehouse.

      - Os alunos devem estar familiarizados com formatos comuns como CSV, JSON e Parquet, e ter conhecimento introdutório sobre Delta Lake e a arquitetura lakehouse.

• Análise exploratória de dados e estatística básica.

      - Os alunos devem compreender distribuições, média, mediana e desvio padrão, valores ausentes, outliers e gráficos simples usados para avaliar a qualidade dos dados.

Outline

Gerenciando e Explorando Dados

• Gerenciando e Explorando Dados

• Demonstração: Carregar e Explorar Dados

• Laboratório: Carregar e Explorar Dados


Preparação de Dados e Engenharia de Recursos

• Fundamentos de Preparação de Dados e Engenharia de Recursos

• Imputação de Dados

• Codificação de Dados

• Padronização de Dados

• Demonstração: Pipeline de Imputação e Transformação de Dados

• Demonstração: Construir um Pipeline de Engenharia de Recursos com Embeddings

• Laboratório: Construir um Pipeline de Engenharia de Recursos


Feature Store

• Introdução ao Feature Store

• Demonstração: Usando Feature Store para Engenharia de Recursos

• Laboratório: Engenharia de Recursos com Feature Store

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Catalog Management and Data Organization - Portuguese BR

Neste curso, você aprenderá a projetar, implementar e gerenciar estruturas de Catálogo e organização de dados em grande escala com Unity Catalog na Databricks Data and AI Platform. Dividido em cinco módulos, o curso começa posicionando o Unity Catalog dentro do modelo de implantação cloud, abordando o console de conta, os metastores regionais e as funções de administrador que o habilitam. Em seguida, você traduzirá a topologia organizacional (unidades de negócios, regiões e ambientes de dev/QA/prod) em um design escalável de Catálogo e schema, com convenções de nomenclatura, propriedade e delegação de MANAGE. Na sequência, o curso aborda a integração segura de armazenamento com credenciais de armazenamento, locais externos, a hierarquia de armazenamento gerenciado, tabelas gerenciadas versus externas, Volumes e Lakehouse Federation. Você então aplicará padrões de acesso e estratégias de isolamento, incluindo vinculação workspace-Catálogo, herança de privilégios, filtros de linha, máscaras de coluna e políticas de controle de acesso baseado em atributos (ABAC), e validará os resultados com sinais de auditoria. Por fim, o curso encerra com as melhores práticas para projetar, gerenciar e operar um ambiente Unity Catalog. As demonstrações práticas e os laboratórios são executados em compute serverless e incluem os passos curtos do Genie Code.

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, deixando de usar apresentações de slides para as palestras. Você pode acessar os cadernos das palestras no ambiente de laboratório Vocareum.

Paid
4h
Lab
instructor-led
Associate
Data Engineer

Databricks Performance Optimization - Portuguese BR

O Databricks Performance Optimization ensina engenheiros e analistas de dados a diagnosticar, medir e corrigir gargalos de desempenho na Databricks Data Intelligence Platform, além de relacionar as melhorias de desempenho aos custos. O curso segue um fluxo de trabalho que prioriza a medição e a plataforma: deixar que as otimizações automáticas da plataforma façam o trabalho pesado, verificar o que foi aplicado usando Query Profile e tabelas do sistema, e então ajustar manualmente onde necessário.

Os alunos constroem uma base para medir o desempenho com Query Profile, Performance Insights e tabelas do sistema de query history. A partir daí, exploram técnicas de otimização key, incluindo configuração de dados e tabelas gerenciadas com ajuste automático, liquid clustering, cache e resultados intermediários, shuffle, skew, spill, explosões de linhas, desempenho do driver, Python UDFs, serverless compute, Photon e atribuição de custos.

Ao longo do curso, os alunos analisam queries deliberadamente lentas sobre dados sintéticos de varejo e observam como diferentes técnicas de otimização afetam o desempenho. Eles utilizam evidências como pruning de arquivos, tempo de execução de tarefas, cobertura do Photon e custos para avaliar as melhorias. Dois laboratórios baseados em cenários reforçam o fluxo de trabalho de otimização, desde o diagnóstico até a validação.

Nota: A Databricks Academy está migrando as sessões em sala de aula no ambiente Databricks para um formato baseado em notebooks, descontinuando o uso de apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de laboratório do Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话

Paid
4h
Lab
instructor-led
Professional

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.