Databricks Platform Administration - Portuguese BR

Este curso explora o Apache Spark Declarative Pipelines (SDP) do Databricks para a construção de pipelines de transmissão prontos para produção. Você aprenderá padrões de design avançados, aplicação robusta de qualidade de dados e integração entre plataformas, essenciais para a engenharia de lakehouse no mundo real.

Ao longo do curso, você mergulhará em técnicas modernas de ingestão de dados e processamento, dominando ferramentas como Liquid Clustering para otimização de configuração e o padrão Multiplex Streaming para eventos com esquemas mistos. Ao final dos módulos, você saberá como lidar com confiança com a evolução do esquema, automatizar o change data capture (CDC) e garantir a integridade de dados.

Por meio de aulas e demonstrações práticas, você irá:

• Criar pipelines com múltiplos fluxos para realizar ingestão de dados de múltiplas fontes em uma Tabela Bronze unificada.

• Aplicar Liquid Clustering e Expectativas de Qualidade de Dados nas camadas Prata e Ouro.

• Implementar o padrão Multiplex com Iceberg UniForm para acesso a dados entre plataformas.

• Automatizar o acompanhamento de história do SCD Tipo 2 usando AUTO CDC INTO.

• Projetar pipelines de quarentena com perda zero de dados para auditar e gerenciar registros inválidos.

Observação: 

1. Este curso é o primeiro da série "Engenharia de Dados Avançada com Databricks".

2. Para arquivos de aula SCORM, feche a janela do SCORM após concluir o conteúdo. Não clique no botão “Próxima lição”, pois isso pode impedir que o módulo SCORM seja marcado como concluído.

Uma base em duas partes para usar bem um assistente de IA corporativo. A Parte 01 (Fundamentos) explica como a especificidade do prompt influencia a qualidade das respostas, apresenta o assistente como um estagiário brilhante, porém literal, fundamentado no conhecimento interno por meio de uma arquitetura RAG, aborda o que ele pode e não pode acessar, enfatiza uma mentalidade de confiar, mas verificar, e apresenta o Framework C-O-I-E (Contexto, Resultado, Instrução, Exemplo). A Parte 02 (Técnicas) desenvolve um conjunto de técnicas de prompting e ensina como escolher entre elas: adequação de tarefas a abordagens, geração de conteúdo (zero-shot e few-shot), raciocínio (chain-of-thought, self-ask, meta-prompting), fluxo de trabalho (encadeamento de prompts e quando encadear versus usar um único prompt) e estruturação clara de prompts.

Este curso abrangente fornece um guia prático para o desenvolvimento de modelos tradicionais de aprendizado de máquina no Databricks, enfatizando demonstrações práticas e fluxos de trabalho usando bibliotecas de ML populares. Os participantes explorarão as principais técnicas de ML, incluindo regressão e clustering, enquanto aproveitam os poderosos recursos do Databricks. O curso aborda a integração do MLflow para rastreamento de modelos, a Databricks Feature Store para gerenciamento de recursos e o Optuna para ajuste de hiperparâmetros. Além disso, os participantes aprenderão como acelerar o desenvolvimento de modelos com o Genie Code, o assistente de codificação baseado em IA da Databricks que usa linguagem natural, conexões MCP, instruções e habilidades para orientar todo o ciclo de vida de ML. Ao final do curso, os alunos terão habilidades práticas do mundo real para desenvolver, otimizar e implantar modelos de aprendizado de máquina de forma eficiente no ambiente Databricks.