Advanced Machine Learning Operations - Portuguese BR

Neste curso, você aprenderá como projetar, implementar e governar estruturas de catálogo e organização de dados em larga escala na Plataforma de Inteligência de Dados Databricks. Ele oferece uma visão abrangente do Unity Catalog como a camada de governança centralizada para um lakehouse empresarial. Dividido em cinco módulos, começa posicionando o Unity Catalog dentro do modelo de implantação em nuvem — cobrindo o Account Console, criação de metastore e a hierarquia de funções de administrador. Você então traduzirá topologia organizacional (unidades de negócios, regiões e ambientes dev/QA/prod) em um design escalável de catálogo e schema usando convenções de nomenclatura, padrões de propriedade e delegação MANAGE. O curso então cobre integração segura de armazenamento com credenciais de armazenamento, localizações externas, a hierarquia de armazenamento gerenciado, tabelas gerenciadas versus externas e UC Volumes para dados não-tabulares. Em seguida, você aplicará padrões de acesso e estratégias de isolamento — a cadeia GRANT de três níveis, vinculação workspace-catalog e políticas de Controle de Acesso Baseado em Atributos (ABAC) em nível de schema — para impor proteção de dados refinada em escala. Finalmente, o curso fecha com práticas recomendadas para design de catálogo, automação, permissões de menor privilégio e gerenciamento de acesso baseado em grupo. 

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, deixando de usar apresentações de slides para as palestras. Você pode acessar os cadernos das palestras no ambiente de laboratório Vocareum.

O Databricks Performance Optimization ensina engenheiros e analistas de dados a diagnosticar, medir e corrigir gargalos de desempenho na Databricks Data Intelligence Platform, além de relacionar as melhorias de desempenho aos custos. O curso segue um fluxo de trabalho que prioriza a medição e a plataforma: deixar que as otimizações automáticas da plataforma façam o trabalho pesado, verificar o que foi aplicado usando Query Profile e tabelas do sistema, e então ajustar manualmente onde necessário.

Os alunos constroem uma base para medir o desempenho com Query Profile, Performance Insights e tabelas do sistema de query history. A partir daí, exploram técnicas de otimização key, incluindo configuração de dados e tabelas gerenciadas com ajuste automático, liquid clustering, cache e resultados intermediários, shuffle, skew, spill, explosões de linhas, desempenho do driver, Python UDFs, serverless compute, Photon e atribuição de custos.

Ao longo do curso, os alunos analisam queries deliberadamente lentas sobre dados sintéticos de varejo e observam como diferentes técnicas de otimização afetam o desempenho. Eles utilizam evidências como pruning de arquivos, tempo de execução de tarefas, cobertura do Photon e custos para avaliar as melhorias. Dois laboratórios baseados em cenários reforçam o fluxo de trabalho de otimização, desde o diagnóstico até a validação.

Nota: A Databricks Academy está migrando as sessões em sala de aula no ambiente Databricks para um formato baseado em notebooks, descontinuando o uso de apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de laboratório do Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어

Este curso é destinado a cientistas de dados e profissionais de machine learning e é composto por dois módulos de quatro horas.

Machine Learning at Scale

Neste curso, você adquirirá conhecimento teórico e prático sobre a arquitetura do Apache Spark e sua aplicação em cargas de trabalho de machine learning no Databricks. Você aprenderá quando usar o Spark para preparação de dados, treinamento de modelos e implantação, além de obter experiência prática com Spark ML e APIs do Pandas no Spark. Este curso apresentará conceitos avançados, como ajuste de hiperparâmetros e escalabilidade do Optuna com Spark. Este curso utilizará recursos e conceitos introduzidos no curso associado, como MLflow e Unity Catalog, para empacotamento e governança abrangentes de modelos.

Advanced Machine Learning Operations

Neste curso, você receberá uma compreensão abrangente do ciclo de vida de machine learning e de MLOps, com ênfase nas melhores práticas para gerenciamento de dados e modelos, testes e arquiteturas escaláveis. O curso aborda os principais componentes de MLOps, incluindo CI/CD, gerenciamento de pipeline e separação de ambientes, ao mesmo tempo em que apresenta as ferramentas do Databricks para automação e gerenciamento de infraestrutura, como Declarative Automation Bundles (DABs), Lakeflow Jobs e Model Serving. Você aprenderá sobre monitoramento, métricas personalizadas, detecção de desvios, estratégias de implantação de modelos, testes A/B e os princípios de sistemas MLOps confiáveis, proporcionando uma visão holística da implementação e do gerenciamento de projetos de ML no Databricks.

Nota: A Databricks Academy está fazendo a transição para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides para as aulas. Você pode acessar os notebooks de aula no ambiente de laboratório do Vocareum.