SQL Analytics on Databricks - Portuguese BR

Unity Gateway estende a governança do Unity Catalog para o tráfego de IA. O Unity Catalog já governa seus modelos, serviços MCP, funções e conexões como objetos protegíveis; o Unity Gateway adiciona um Control Plane central sobre o tráfego direcionado a eles, aplicando roteamento, limites de taxa, orçamentos, acompanhamento de uso e **políticas de serviço** (guardrails) em cada requisição e resposta.

Este laboratório apresenta os fundamentos por meio de uma breve aula expositiva e, em seguida, os coloca em prática com uma demonstração prática. Na demonstração, você governa uma aplicação agêntica real — que gera diagramas nativos do Databricks como código — roteando-a pelo Unity Gateway e progressivamente fortalecendo sua governança: criando um serviço de modelo, concedendo permissões, adicionando tabelas de inferência, limites de taxa, uma política de guardrail contra alucinações, divisão de tráfego entre modelos Claude e roteamento fallback. Por fim, você explora os schemas `system.ai` e `system.ai_gateway` para ver como a telemetria e a observabilidade complementam o registro de inferência no nível de payload.

Ao final do laboratório, você entenderá como a governança de ativos, tráfego e comportamento se combinam em um único Control Plane para IA, e como aplicar esses controles a uma aplicação de Generative AI em estilo de produção no Databricks.

Observação: Para arquivos de aula SCORM, feche a janela do SCORM depois de concluir o conteúdo. Não clique no botão “Próxima lição”, pois isso pode impedir que o módulo SCORM seja marcado como concluído.

Este curso ensina os fundamentos da preparação de dados para machine learning tradicional no Databricks. Os alunos carregam dados em tabelas Delta governadas pelo Unity Catalog e os exploram com Notebooks, visualizações integradas e Genie Code. Em seguida, realizam a limpeza de dados, tratam valores ausentes e outliers, dividem e amostram os dados sem vazamento de dados, e constroem ML pipelines reproduzíveis com Spark para imputação, codificação e padronização. Por fim, armazenam, governam e reutilizam recursos com Engenharia de Recursos no Unity Catalog. Isso inclui consultas point-in-time para conjuntos de treinamento sem vazamento e uma introdução ao serviço de recursos online com Online Feature Stores baseados em Lakebase. Cada módulo combina aulas expositivas com demonstrações práticas e um laboratório que são executados em compute serverless. O treinamento, o serviço e o monitoramento de modelos não são abordados; esses tópicos são ensinados nos cursos Machine Learning Model Development e Machine Learning Model Deployment. Este curso é destinado a cientistas de dados de nível associado e profissionais de machine learning que desejam uma base sólida em preparação de dados no Databricks.

Observação:

1. Este é o primeiro curso da série 'Machine Learning com Databricks'.

2. Para arquivos de aula SCORM, feche a janela do SCORM após concluir o conteúdo. Não clique no botão 'Próxima lição', pois isso pode impedir que o módulo SCORM seja marcado como concluído.

Este curso explora o Apache Spark Declarative Pipelines (SDP) do Databricks para a construção de pipelines de transmissão em nível de produção. Você aprenderá padrões de design avançados, aplicação robusta de qualidade de dados e integração entre plataformas, essenciais para a engenharia de lakehouse no mundo real.

Ao longo do curso, você mergulhará em técnicas modernas de ingestão de dados e processamento, dominando ferramentas como Liquid Clustering para otimização de configuração e o padrão Multiplex Streaming para eventos com esquemas mistos. Ao final dos módulos, você saberá como lidar com confiança com a evolução do esquema, automatizar o Change Data Capture (CDC) e garantir a integridade de dados.

Observação: 

1. Este curso é o primeiro da série "Engenharia de Dados Avançada com Databricks".

2. Para arquivos de aula SCORM, feche a janela do SCORM após concluir o conteúdo. Não clique no botão “Próxima lição”, pois isso pode impedir que o módulo SCORM seja marcado como concluído.