Developing Applications with Apache Spark™ - Portuguese BR

Neste curso, você aprenderá habilidades básicas que permitirão usar a Databricks Data + AI Platform para realizar um fluxo de trabalho simples de ciência de dados e machine learning. Você fará um tour pelo workspace e aprenderá a trabalhar com Notebooks. Você explorará análise exploratória de dados e Engenharia de Recursos, rastreará e gerenciará modelos com MLflow, realizará experimentos usando Databricks Genie Code e implantará um modelo com Databricks Model Serving. Por fim, o curso reúne essas habilidades em um laboratório abrangente que cobre o ciclo de vida completo de machine learning de ponta a ponta.

Languages Available: English | 日本語 | Português BR | 한국어

Neste curso, você aprenderá a projetar e implementar workflows de machine learning que escalam de uma única máquina para compute distribuído no Databricks. O currículo está organizado em três módulos: fundamentos do desenvolvimento de modelos (quando e por que distribuir, e como o Spark executa o trabalho), desenvolvimento escalável de modelos com Spark ML e MLflow, e treinamento distribuído de modelos com Ray e PyTorch — encerrando com um Framework para escolher a ferramenta certa para uma determinada carga de trabalho.

Por meio de demonstrações práticas e laboratórios, você criará ML pipelines distribuídos com Spark usando Transformers, Estimators e o paradigma fit/transform; escalará código Pandas existente com a Pandas API on Spark; e realizará o acompanhamento, a comparação e a governança de experimentos com MLflow 3 e Unity Catalog. Em seguida, você treinará modelos em um cluster com Ray Train e PyTorch (TorchDistributor e DeepSpeed) e aprenderá a associar cada carga de trabalho ao Framework correto com base no tamanho dos dados, no tamanho do modelo, no hardware e no custo.

O curso é concluído com um projeto integrador que aborda um problema de ponta a ponta — engenharia de recursos, treinamento de um modelo em escala, acompanhamento com MLflow e registro no Unity Catalog com um alias de governança. (Implantação em produção, serving e monitoramento são abordados no curso separado Advanced MLOps.)

Ao final, você será capaz de escolher, construir e justificar workflows de desenvolvimento de modelos distribuídos, reproduzíveis e governados no Databricks.

Observação: Para arquivos de aula SCORM, feche a janela do SCORM após concluir o conteúdo. Não clique no botão “Next Lesson”, pois isso pode impedir que o módulo SCORM seja marcado como concluído.

Este curso abrange o ciclo de vida completo para implantação e monitoramento de agentes de Generative AI no Databricks. Os participantes aprenderão a implantar agentes como Databricks Apps usando Declarative Automation Bundles (DABs), integrar ferramentas por meio do Model Context Protocol (MCP), instrumentar agentes com MLflow Tracing e avaliar a qualidade em produção usando scorers, juízes multi-turno e avaliação online. Por meio de demonstrações práticas e laboratórios, os participantes adquirirão experiência prática na construção, observação e monitoramento de agentes de IA de nível de produção na plataforma Databricks.

Observação: para arquivos de aulas SCORM, feche a janela do SCORM após concluir o conteúdo. Não clique no botão “Próxima aula”, pois isso pode impedir que o módulo SCORM seja marcado como concluído.