Monitoring and Optimizing Apache Spark Workloads on Databricks - Portuguese BR

Neste curso, você aprenderá a usar o Databricks de forma eficaz para análise de dados, com foco específico em Databricks SQL. Como analista de dados do Databricks, suas responsabilidades incluirão encontrar dados relevantes, analisá-los para possíveis aplicações e transformá-los em formatos que forneçam insights valiosos para o negócio. 

Você também compreenderá seu papel no gerenciamento de objetos de dados e como manipulá-los dentro da Databricks Data Intelligence Platform, utilizando ferramentas como Notebooks, o SQL Editor e o Databricks SQL. 

Além disso, você aprenderá sobre a importância do Unity Catalog no gerenciamento de ativos de dados e da plataforma como um todo. Por fim, o curso fornecerá uma visão geral de como o Databricks facilita a otimização de desempenho e ensinará como acessar o Query Insights para entender os processos que ocorrem nos bastidores ao executar SQL analytics no Databricks.

Observação: Para os ficheiros das aulas SCORM, por favor certifique-se de fechar a janela SCORM após concluir o conteúdo. Não clique no botão 'Next Lesson', pois isso pode impedir que o módulo SCORM seja marcado como completo.

Languages Available: English | 日本語 | Português BR | 한국어 

Este curso ensina os fundamentos da preparação de dados para machine learning tradicional no Databricks. Os alunos carregam dados em tabelas Delta governadas pelo Unity Catalog e os exploram com Notebooks, visualizações integradas e Genie Code. Em seguida, realizam a limpeza de dados, tratam valores ausentes e outliers, dividem e amostram os dados sem vazamento de dados, e constroem ML pipelines reproduzíveis com Spark para imputação, codificação e padronização. Por fim, armazenam, governam e reutilizam recursos com Engenharia de Recursos no Unity Catalog. Isso inclui consultas point-in-time para conjuntos de treinamento sem vazamento e uma introdução ao serviço de recursos online com Online Feature Stores baseados em Lakebase. Cada módulo combina aulas expositivas com demonstrações práticas e um laboratório que são executados em compute serverless. O treinamento, o serviço e o monitoramento de modelos não são abordados; esses tópicos são ensinados nos cursos Machine Learning Model Development e Machine Learning Model Deployment. Este curso é destinado a cientistas de dados de nível associado e profissionais de machine learning que desejam uma base sólida em preparação de dados no Databricks.

Observação:

1. Este é o primeiro curso da série 'Machine Learning com Databricks'.

2. Para arquivos de aula SCORM, feche a janela do SCORM após concluir o conteúdo. Não clique no botão 'Próxima lição', pois isso pode impedir que o módulo SCORM seja marcado como concluído.

Este curso explora o Apache Spark Declarative Pipelines (SDP) do Databricks para a construção de pipelines de transmissão em nível de produção. Você aprenderá padrões de design avançados, aplicação robusta de qualidade de dados e integração entre plataformas, essenciais para a engenharia de lakehouse no mundo real.

Ao longo do curso, você mergulhará em técnicas modernas de ingestão de dados e processamento, dominando ferramentas como Liquid Clustering para otimização de configuração e o padrão Multiplex Streaming para eventos com esquemas mistos. Ao final dos módulos, você saberá como lidar com confiança com a evolução do esquema, automatizar o Change Data Capture (CDC) e garantir a integridade de dados.

Observação: 

1. Este curso é o primeiro da série "Engenharia de Dados Avançada com Databricks".

2. Para arquivos de aula SCORM, feche a janela do SCORM após concluir o conteúdo. Não clique no botão “Próxima lição”, pois isso pode impedir que o módulo SCORM seja marcado como concluído.