Stream Processing and Analysis with Apache Spark™ - Portuguese BR

Este curso explora o Apache Spark Declarative Pipelines (SDP) do Databricks para a construção de pipelines de transmissão prontos para produção. Você aprenderá padrões de design avançados, aplicação robusta de qualidade de dados e integração entre plataformas, essenciais para a engenharia de lakehouse no mundo real.

Ao longo do curso, você mergulhará em técnicas modernas de ingestão de dados e processamento, dominando ferramentas como Liquid Clustering para otimização de configuração e o padrão Multiplex Streaming para eventos com esquemas mistos. Ao final dos módulos, você saberá como lidar com confiança com a evolução do esquema, automatizar o change data capture (CDC) e garantir a integridade de dados.

Por meio de aulas e demonstrações práticas, você irá:

• Criar pipelines com múltiplos fluxos para realizar ingestão de dados de múltiplas fontes em uma Tabela Bronze unificada.

• Aplicar Liquid Clustering e Expectativas de Qualidade de Dados nas camadas Prata e Ouro.

• Implementar o padrão Multiplex com Iceberg UniForm para acesso a dados entre plataformas.

• Automatizar o acompanhamento de história do SCD Tipo 2 usando AUTO CDC INTO.

• Projetar pipelines de quarentena com perda zero de dados para auditar e gerenciar registros inválidos.

Observação: 

1. Este curso é o primeiro da série "Engenharia de Dados Avançada com Databricks".

2. Para arquivos de aula SCORM, feche a janela do SCORM após concluir o conteúdo. Não clique no botão “Próxima lição”, pois isso pode impedir que o módulo SCORM seja marcado como concluído.

Uma base em duas partes para usar bem um assistente de IA corporativo. A Parte 01 (Fundamentos) explica como a especificidade do prompt influencia a qualidade das respostas, apresenta o assistente como um estagiário brilhante, porém literal, fundamentado no conhecimento interno por meio de uma arquitetura RAG, aborda o que ele pode e não pode acessar, enfatiza uma mentalidade de confiar, mas verificar, e apresenta o Framework C-O-I-E (Contexto, Resultado, Instrução, Exemplo). A Parte 02 (Técnicas) desenvolve um conjunto de técnicas de prompting e ensina como escolher entre elas: adequação de tarefas a abordagens, geração de conteúdo (zero-shot e few-shot), raciocínio (chain-of-thought, self-ask, meta-prompting), fluxo de trabalho (encadeamento de prompts e quando encadear versus usar um único prompt) e estruturação clara de prompts.

Este curso aborda o que um administrador de uma Conta de Databricks e seus Workspaces precisa saber, de forma independente de cloud: arquitetura da plataforma e funções administrativas, administração de Recurso de Compute, administração de identidades, administração de ferramentas de CI/CD e administração e segurança de workspace. As mecânicas específicas de cada cloud (IAM, armazenamento, redes) são abordadas nos cursos complementares de administração de cloud. Prepara os alunos para a acreditação Databricks Accredited Platform Administrator.

Observação: Para arquivos de aula SCORM, feche a janela do SCORM após concluir o conteúdo. Não clique no botão 'Próxima lição', pois isso pode impedir que o módulo SCORM seja marcado como concluído.