DevOps Essentials for Data Engineering - Portuguese BR

Este curso explora as melhores práticas de engenharia de software e os princípios de DevOps, projetados especificamente para engenheiros de dados que trabalham com Databricks. Os participantes construirão uma base sólida em tópicos-chave, como qualidade de código, controle de versão, documentação e testes. O curso enfatiza o DevOps, abordando os principais componentes, os benefícios e o papel da continuous integration e delivery (CI/CD) na otimização dos fluxos de trabalho de engenharia de dados.

Você aprenderá a aplicar princípios de modularidade no PySpark para criar componentes reutilizáveis e estruturar código de forma eficiente. A experiência prática inclui o projeto e a implementação de testes unitários para funções do PySpark usando a estrutura pytest, seguidos por testes de integração para pipelines de dados Databricks com DLT (Delta Live Tables) e fluxos de trabalho para garantir a confiabilidade.

O curso também aborda operações essenciais do Git no Databricks, incluindo o uso de pastas Git do Databricks para integrar práticas de integração contínua. Por fim, você examinará de alto nível vários métodos de implantação de ativos do Databricks, como REST API, CLI, SDK e DABs (Databricks Asset Bundles), fornecendo o conhecimento de técnicas para implantar e gerenciar seus pipelines.

Ao final do curso, você será proficiente em software engineering e práticas recomendadas de DevOps, permitindo que você crie soluções de engenharia de dados escaláveis, sustentáveis e eficientes.

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

Prerequisites

Conhecimento proficiente da plataforma Databricks, incluindo experiência com Databricks Workspaces, Apache Spark, Delta Lake e Medallion Architecture, Unity Catalog, Delta Live Tables e fluxos de trabalho. Uma compreensão básica do controle de versão Git também é necessária.
Experiência em ingestão e transformação de dados, com proficiência em PySpark para processamento de dados e manipulações de DataFrame. Além disso, os candidatos devem ter experiência em escrever queries SQL de nível intermediário para análise e transformação de dados.
Conhecimento de programação Python, com proficiência em escrever código Python de nível intermediário, incluindo a capacidade de projetar e implementar funções e classes. Os usuários também devem ser hábeis em criar, importar e utilizar efetivamente pacotes Python.

Outline

Software Engineering, DevOps e Fundamentos de CI/CD

Introdução às práticas recomendadas de Software Engineering (SWE)

Introdução a Modularizando Código em PySpark

Modularizar o Código PySpark

Fundamentos de DevOps

O papel da CI/CD na DevOps

Verificação de Conhecimento/Discussão

Continuous Integration

Planejando do Projeto

Exploração de configuração do projeto

Introdução aos testes de unidade para PySpark

Criando e executando testes unitários

Executando testes de integração com DLT e Fluxos de trabalho

Realização de Testes de integração com DLT e Fluxos de trabalho

Version Control with Git Overview

Introdução a Continuous Deployment

Visão geral da implantação de ativos do Databricks (slides)

Implantação do projeto Databricks

Upcoming Public Classes

Date	Time	Language	Price
Date	Time	Language	Price	Jun 25	01 PM - 05 PM (America/Sao_Paulo)	Portuguese - BR	$750.00
Jun 27	09 AM - 01 PM (America/Sao_Paulo)	Portuguese - BR	$750.00
Aug 22	09 AM - 01 PM (America/Sao_Paulo)	Portuguese - BR	$750.00
Sep 26	01 PM - 05 PM (America/Sao_Paulo)	Portuguese - BR	$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Analyst

Data Warehousing with Databricks - Portuguese BR

Este curso foi desenvolvido para profissionais de dados que desejam explorar os recursos de Data Warehousing do Databricks. Supondo que não haja conhecimento prévio do Databricks, ele fornece uma introdução ao uso do Databricks como uma solução moderna de Data Warehousing baseada em nuvem. Os alunos explorarão como usar a Databricks Data Intelligence Platform para ingerir, transformar, governar e analisar dados de forma eficiente usando o dataset padrão TCP-DI do setor como referência. Os alunos também explorarão o Genie, um recurso inovador do Databricks que simplifica a exploração de dados por meio de queries em linguagem natural. Ao final deste curso, os participantes serão equipados com as habilidades fundamentais para implementar e otimizar um data warehouse usando o Databricks.

Languages Available: English | 日本語 | Português BR | 한국어

Data Analysis with Databricks - Portuguese BR

Este curso fornece uma introdução abrangente ao Databricks SQL. Os alunos irão ingerir dados, escrever queries, produzir visualizações e painéis e configurar alertas. Este curso irá prepará-lo para fazer o exame Analista Associado de Dados, Certificado da Databricks. Este curso é composto por dois módulos de quatro horas.

SQL Analytics on Databricks

Neste curso, você aprenderá a usar efetivamente a Databricks para análise de dados, com foco específico no Databricks SQL. Como Analista de Dados da Databricks, suas responsabilidades incluirão encontrar dados relevantes, analisá-los para possíveis aplicações e transformá-los em formatos que forneçam percepções de negócios valiosos.

Você também entenderá sua função no gerenciamento de objetos de dados e como manipulá-los na Databricks Data Intelligence Platform, usando ferramentas como Notebooks, Editor SQL e Databricks SQL.

Além disso, você aprenderá sobre a importância do Unity Catalog no gerenciamento de ativos de dados e da plataforma como um todo. Por fim, o curso fornecerá uma visão geral de como o Databricks facilita a otimização de desempenho e ensinará como acessar percepções de query para entender os processos que ocorrem nos bastidores ao executar a analítica SQL no Databricks.

AI/BI for Data Analysts

Neste curso, você aprenderá a usar os recursos que o Databricks fornece para as necessidades de business intelligence: Painéis de IA/BI e AI/BI Genie. Como Analista de Dados da Databricks, você terá a tarefa de criar Painéis de IA/BI e AI/BI Genie Spaces dentro da plataforma, gerenciar o acesso a esses ativos pelas partes interessadas e necessárias e manter esses ativos à medida que são editados, atualizados ou desativados ao longo de sua vida útil. Este curso pretende instruir os participantes sobre como projetar painéis para percepções de negócios, compartilhá-los com colaboradores e partes interessadas e manter esses ativos dentro da plataforma. Os participantes também aprenderão a utilizar os AI/BI Genie Spaces para dar suporte à análise de autoatendimento por meio da criação e manutenção desses ambientes alimentados pelo Databricks Data Intelligence Engine.

Languages Available: English | 日本語 | Português BR | 한국어

Build Data Pipelines with Delta Live Tables - Portuguese BR

Neste curso, você aprenderá a definir e programar pipelines de dados que ingerem e processam dados de forma incremental por meio de várias tabelas no lakehouse usando Delta Live Tables (DLT) em Spark SQL e Python. O curso aborda como começar a usar o DLT, como o DLT rastreia dependências de dados em pipelines de dados, como configurar e executar pipelines de dados usando a interface do usuário do Delta Live Tables, como usar Python ou Spark SQL para definir pipelines de dados que ingerem e processam dados por meio de várias tabelas no lakehouse usando Auto Loader e DLT, como usar a sintaxe APPLY CHANGES INTO para processar feeds de captura de dados de alterações (CDC) e como revisar logs de eventos e artefatos de dados criados por pipelines e solucionar problemas de sintaxe DLT.

Languages Available: English | 日本語 | Português BR | 한국어