Get Started with Databricks for Data Engineering - Portuguese BR

Este curso fornece uma revisão abrangente dos princípios de DevOps e sua aplicação em projetos Databricks. Ele começa com uma visão geral dos principais DevOps, DataOps, integração contínua (CI), implantação contínua (CD) e testes, e explora como esses princípios podem ser aplicados a pipelines de engenharia de dados.

Em seguida, o curso se concentra na implantação contínua dentro do processo de CI/CD, examinando ferramentas como a API REST do Databricks, o SDK e a CLI para implantação de projetos. Você aprenderá sobre os DABs (Asset Bundles, pacotes de ativos do Databricks) e como eles se encaixam no processo de CI/CD. Você se aprofundará em seus principais componentes, na estrutura de pastas e em como eles simplificam a implantação em vários ambientes de destino no Databricks. Você também aprenderá a adicionar variáveis, modificar, validar, implantar e executar Databricks Asset Bundles para vários ambientes com configurações diferentes usando a CLI do Databricks.

Por fim, o curso apresenta o Visual Studio Code como um ambiente de desenvolvimento interativo (IDE) para criar, testar e implantar Databricks Asset Bundles localmente, otimizando seu processo de desenvolvimento. O curso termina com uma introdução à automação de pipelines de implantação usando ações do GitHub para aprimorar o fluxo de trabalho de CI/CD com Databricks Asset Bundles.

Ao final deste curso, você estará equipado para automatizar as implantações de projetos do Databricks com os Databricks Asset Bundles, melhorando a eficiência por meio de práticas de DevOps.

Nota: Este curso é o quarto da série “Engenharia de dados avançada com Databricks”.

Languages Available: English | 日本語 | Português BR | 한국어 

Este curso apresenta aos usuários os conceitos e habilidades essenciais necessários para criar pipelines de dados usando pipelines declarativos do Lakeflow em Databricks para ingestão e processamento incrementais em lote ou transmissão por meio de várias streaming tables e materialized views. Projetado para engenheiros de dados novos em pipelines declarativos Lakeflow, o curso fornece uma visão geral abrangente dos principais componentes, como processamento incremental de dados, streaming tables, materialized views e views temporárias, destacando suas finalidades e diferenças específicas.

Os tópicos abordados incluem:

- Desenvolvimento e depuração de pipelines ETL com o editor de vários arquivos no Lakeflow usando SQL (com exemplos de código Python fornecidos)

- Como os pipelines declarativos do Lakeflow acompanham dependências de dados em um pipeline através do gráfico de pipeline

- Configuração de recursos de computação do pipeline, ativos de dados, modos de gatilho e outras opções avançadas.

 Em seguida, o curso apresenta as expectativas de qualidade de dados no Lakeflow, orientando os usuários pelo processo de integração de expectativas em pipelines para validar e impor a integridade dos dados. Em seguida, os alunos explorarão como colocar um pipeline em produção, incluindo opções de agendamento, modo de produção e habilitação do log de eventos do pipeline para monitorar o desempenho e a integridade do pipeline.

 Finalmente, o curso aborda como implementar a captura de dados de alterações (CDC) usando a sintaxe APPLY CHANGES INTO dentro dos Pipelines Declarativos do Lakeflow para gerenciar dimensões que mudam lentamente (SCD Tipo 1 e Tipo 2), preparando os usuários para integrar CDC em seus próprios pipelines.

Languages Available: English | 日本語 | Português BR | 한국어

Neste curso, você explorará a Databricks Data Intelligence Platform da perspectiva da arquitetura de plataforma, especificamente relacionado à fundação de plataforma na arquitetura de lakehouse. Você aprenderá sobre o escopo, a visão e os recursos de uma plataforma baseada em lakehouse, examinará como a Databricks se integra aos principais fornecedores de cloud e descobrirá os principais recursos de uma implementação bem-sucedida de lakehouse por meio do well-architected lakehouse framework. O curso também aborda princípios essenciais de arquitetura, práticas recomendadas e estratégias de arquitetura de dados para ajudar a acelerar as iniciativas de dados e IA da sua organização usando Databricks.

Languages Available: English | 日本語 | Português BR | 한국어