DevOps Essentials for Data Engineering - Portuguese BR
Este curso explora as melhores práticas de engenharia de software e os princípios de DevOps, projetados especificamente para engenheiros de dados que trabalham com Databricks. Os participantes construirão uma base sólida em tópicos-chave, como qualidade de código, controle de versão, documentação e testes. O curso enfatiza o DevOps, abordando os principais componentes, os benefícios e o papel da continuous integration e delivery (CI/CD) na otimização dos fluxos de trabalho de engenharia de dados.
Você aprenderá a aplicar princípios de modularidade no PySpark para criar componentes reutilizáveis e estruturar código de forma eficiente. A experiência prática inclui o projeto e a implementação de testes unitários para funções do PySpark usando a estrutura pytest, seguidos por testes de integração para pipelines de dados Databricks com DLT (Delta Live Tables) e fluxos de trabalho para garantir a confiabilidade.
O curso também aborda operações essenciais do Git no Databricks, incluindo o uso de pastas Git do Databricks para integrar práticas de integração contínua. Por fim, você examinará de alto nível vários métodos de implantação de ativos do Databricks, como REST API, CLI, SDK e DABs (Databricks Asset Bundles), fornecendo o conhecimento de técnicas para implantar e gerenciar seus pipelines.
Ao final do curso, você será proficiente em software engineering e práticas recomendadas de DevOps, permitindo que você crie soluções de engenharia de dados escaláveis, sustentáveis e eficientes.
Languages Available: English | 日本語 | Português BR | 한국어
- Conhecimento proficiente da plataforma Databricks, incluindo experiência com Databricks Workspaces, Apache Spark, Delta Lake e Medallion Architecture, Unity Catalog, Delta Live Tables e fluxos de trabalho. Uma compreensão básica do controle de versão Git também é necessária.
- Experiência em ingestão e transformação de dados, com proficiência em PySpark para processamento de dados e manipulações de DataFrame. Além disso, os candidatos devem ter experiência em escrever queries SQL de nível intermediário para análise e transformação de dados.
- Conhecimento de programação Python, com proficiência em escrever código Python de nível intermediário, incluindo a capacidade de projetar e implementar funções e classes. Os usuários também devem ser hábeis em criar, importar e utilizar efetivamente pacotes Python.
Outline
Software Engineering, DevOps e Fundamentos de CI/CD
Introdução às práticas recomendadas de Software Engineering (SWE)
Introdução a Modularizando Código em PySpark
Modularizar o Código PySpark
Fundamentos de DevOps
O papel da CI/CD na DevOps
Verificação de Conhecimento/Discussão
Continuous Integration
Planejando do Projeto
Exploração de configuração do projeto
Introdução aos testes de unidade para PySpark
Criando e executando testes unitários
Executando testes de integração com DLT e Fluxos de trabalho
Realização de Testes de integração com DLT e Fluxos de trabalho
Version Control with Git Overview
Introdução a Continuous Deployment
Visão geral da implantação de ativos do Databricks (slides)
Implantação do projeto Databricks
Upcoming Public Classes
Date | Time | Language | Price |
|---|---|---|---|
Jun 25 | 01 PM - 05 PM (America/Sao_Paulo) | Portuguese - BR | $750.00 |
Jun 27 | 09 AM - 01 PM (America/Sao_Paulo) | Portuguese - BR | $750.00 |
Aug 22 | 09 AM - 01 PM (America/Sao_Paulo) | Portuguese - BR | $750.00 |
Sep 26 | 01 PM - 05 PM (America/Sao_Paulo) | Portuguese - BR | $750.00 |
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Register now
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Register now
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
