Databricks Performance Optimization - Portuguese BR

Este curso explora o Apache Spark Declarative Pipelines (SDP) do Databricks para a construção de pipelines de transmissão em nível de produção. Você aprenderá padrões de design avançados, aplicação robusta de qualidade de dados e integração entre plataformas, essenciais para a engenharia de lakehouse no mundo real.

Ao longo do curso, você mergulhará em técnicas modernas de ingestão de dados e processamento, dominando ferramentas como Liquid Clustering para otimização de configuração e o padrão Multiplex Streaming para eventos com esquemas mistos. Ao final dos módulos, você saberá como lidar com confiança com a evolução do esquema, automatizar o Change Data Capture (CDC) e garantir a integridade de dados.

Observação: 

1. Este curso faz parte da série de cursos 'Engenharia de Dados Avançada com Databricks'.

2. A Databricks Academy está migrando para um formato baseado em notebooks para as sessões em sala de aula no ambiente Databricks, descontinuando o uso de apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de laboratório Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话

Neste curso, você aprenderá a projetar, implementar e gerenciar estruturas de Catálogo e organização de dados em grande escala com Unity Catalog na Databricks Data and AI Platform. Dividido em cinco módulos, o curso começa posicionando o Unity Catalog dentro do modelo de implantação cloud, abordando o console de conta, os metastores regionais e as funções de administrador que o habilitam. Em seguida, você traduzirá a topologia organizacional (unidades de negócios, regiões e ambientes de dev/QA/prod) em um design escalável de Catálogo e schema, com convenções de nomenclatura, propriedade e delegação de MANAGE. Na sequência, o curso aborda a integração segura de armazenamento com credenciais de armazenamento, locais externos, a hierarquia de armazenamento gerenciado, tabelas gerenciadas versus externas, Volumes e Lakehouse Federation. Você então aplicará padrões de acesso e estratégias de isolamento, incluindo vinculação workspace-Catálogo, herança de privilégios, filtros de linha, máscaras de coluna e políticas de controle de acesso baseado em atributos (ABAC), e validará os resultados com sinais de auditoria. Por fim, o curso encerra com as melhores práticas para projetar, gerenciar e operar um ambiente Unity Catalog. As demonstrações práticas e os laboratórios são executados em compute serverless e incluem os passos curtos do Genie Code.

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, deixando de usar apresentações de slides para as palestras. Você pode acessar os cadernos das palestras no ambiente de laboratório Vocareum.

Este curso é destinado a cientistas de dados e profissionais de machine learning e é composto por dois módulos de quatro horas.

Machine Learning at Scale

Neste curso, você adquirirá conhecimento teórico e prático sobre a arquitetura do Apache Spark e sua aplicação em cargas de trabalho de machine learning no Databricks. Você aprenderá quando usar o Spark para preparação de dados, treinamento de modelos e implantação, além de obter experiência prática com Spark ML e APIs do Pandas no Spark. Este curso apresentará conceitos avançados, como ajuste de hiperparâmetros e escalabilidade do Optuna com Spark. Este curso utilizará recursos e conceitos introduzidos no curso associado, como MLflow e Unity Catalog, para empacotamento e governança abrangentes de modelos.

Advanced Machine Learning Operations

Neste curso, você receberá uma compreensão abrangente do ciclo de vida de machine learning e de MLOps, com ênfase nas melhores práticas para gerenciamento de dados e modelos, testes e arquiteturas escaláveis. O curso aborda os principais componentes de MLOps, incluindo CI/CD, gerenciamento de pipeline e separação de ambientes, ao mesmo tempo em que apresenta as ferramentas do Databricks para automação e gerenciamento de infraestrutura, como Declarative Automation Bundles (DABs), Lakeflow Jobs e Model Serving. Você aprenderá sobre monitoramento, métricas personalizadas, detecção de desvios, estratégias de implantação de modelos, testes A/B e os princípios de sistemas MLOps confiáveis, proporcionando uma visão holística da implementação e do gerenciamento de projetos de ML no Databricks.

Nota: A Databricks Academy está fazendo a transição para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides para as aulas. Você pode acessar os notebooks de aula no ambiente de laboratório do Vocareum.