Data Warehousing with Databricks - Portuguese BR

Neste curso, você aprenderá a usar efetivamente a Databricks para análise de dados, com foco específico no Databricks SQL. Como Analista de Dados da Databricks, suas responsabilidades incluirão encontrar dados relevantes, analisá-los para possíveis aplicações e transformá-los em formatos que forneçam percepções de negócios valiosos. 

Você também entenderá sua função no gerenciamento de objetos de dados e como manipulá-los na Databricks Data Intelligence Platform, usando ferramentas como Notebooks, Editor SQL e Databricks SQL. 

Além disso, você aprenderá sobre a importância do Unity Catalog no gerenciamento de ativos de dados e da plataforma como um todo. Por fim, o curso fornecerá uma visão geral de como o Databricks facilita a otimização de desempenho e ensinará como acessar percepções de query para entender os processos que ocorrem nos bastidores ao executar a analítica SQL no Databricks.

Languages Available: English | 日本語 | Português BR | 한국어

Este curso explora os Spark Declarative Pipelines (SDP) da Databricks Lakeflow para a construção de pipelines de transmissão de nível de produção. Aprenderá padrões de design avançados, aplicação robusta da qualidade de dados e integração multiplataforma, essenciais para a engenharia de lakehouses no mundo real.

Ao longo do curso, irá aprofundar técnicas modernas de ingestão e processamento de dados, dominando ferramentas como o Liquid Clustering para otimização de layout e o padrão Multiplex Streaming para eventos com esquemas mistos. No final dos módulos, saberá como lidar com confiança com a evolução de esquemas, automatizar a Change Data Capture (CDC) e garantir a integridade dos dados.

Através de aulas teóricas e demonstrações práticas, irá:

• Construir pipelines de múltiplos fluxos para ingerir dados de múltiplas fontes numa tabela Bronze unificada.

• Aplicar o algoritmo Liquid Clustering e as Expectativas de Qualidade de Dados nas camadas Prata e Ouro.

• Implementar o padrão Multiplex com Iceberg UniForm para acesso a dados multiplataforma.

• Automatizar o seguimento do histórico de SCD Tipo 2 utilizando o AUTO CDC INTO.

• Conceber pipelines de quarentena sem perda de dados para auditar e gerir registros inválidos.

Observação: A Databricks Academy está a migrar para um formato baseado em notebooks para as aulas dentro do ambiente Databricks, descontinuando o uso de diapositivos nas aulas. Pode aceder aos notebooks das aulas no ambiente de laboratório Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어

Este curso abrangente oferece um guia prático para o desenvolvimento de modelos tradicionais de machine learning em Databricks, com ênfase em demonstrações práticas e fluxos de trabalho utilizando bibliotecas populares de ML. Os participantes irão explorar as principais técnicas de machine learning, incluindo regressão e agrupamento, aproveitando as poderosas capacidades do Databricks. O curso abrange a integração com o MLflow para o acompanhamento de modelos, o Databricks Feature Store para a gestão de recursos e o Optuna para o ajuste de hiperparâmetros. Além disso, os participantes aprenderão a acelerar o treino de modelos com o Databricks AutoML. No final do curso, os alunos terão competências práticas e aplicáveis ao mundo real para desenvolver, otimizar e implementar modelos de machine learning de forma eficiente no ambiente Databricks.

Languages Available: English | 日本語 | Português BR | 한국어