Automated Deployment with Declarative Automation Bundles - Portuguese BR

Este curso oferece uma revisão abrangente dos princípios de DevOps e sua aplicação a projetos Databricks. Ele começa com uma visão geral dos conceitos fundamentais de DevOps, DataOps, integração contínua (CI), implantação contínua (CD) e testes, e explora como esses princípios podem ser aplicados a pipelines de engenharia de dados.

O curso então se concentra na implantação contínua dentro do processo de CI/CD, examinando ferramentas como a REST API, o SDK e o CLI do Databricks para implantação de projetos. Você aprenderá sobre os Declarative Automation Bundles (DABs) e como eles se encaixam no processo de CI/CD. Você irá explorar seus principais componentes, estrutura de pastas e como eles simplificam a implantação em diversos ambientes de destino no Databricks. Você também aprenderá como adicionar variáveis, modificar, validar, implantar e executar Declarative Automation Bundles para múltiplos ambientes com diferentes configurações usando o Databricks CLI.

Por fim, o curso apresenta o Visual Studio Code como um Ambiente de Desenvolvimento Interativo (IDE) para construir, testar e implantar Declarative Automation Bundles localmente, otimizando seu processo de desenvolvimento. O curso é concluído com uma introdução à automação de pipelines de implantação usando GitHub Actions para aprimorar o fluxo de trabalho de CI/CD com Declarative Automation Bundles.

Ao final deste curso, você estará preparado para automatizar implantações de projetos Databricks com Declarative Automation Bundles, melhorando a eficiência por meio de práticas de DevOps.

Nota: A Databricks Academy está fazendo a transição para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides para as aulas. Você pode acessar os notebooks de aula no ambiente de laboratório do Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Professional

Duration

Prerequisites

Competências/conhecimentos/habilidades:

• Conhecimento sólido da Databricks platform, incluindo experiência com Databricks Workspaces, Apache Spark, Delta Lake, a Arquitetura Medallion, Unity Catalog, Lakeflow Spark Declarative Pipelines (SDP) e Lakeflow Jobs. Em particular, conhecimento sobre o uso de Expectations com SDP.

• Experiência em ingestão de dados e transformação, com proficiência em PySpark para processamento de dados e manipulação de DataFrame. Os candidatos também devem ter experiência na escrita de consultas SQL de nível intermediário para análise e transformação de dados.

• Proficiência em programação Python, incluindo a capacidade de projetar e implementar funções e classes, além de experiência na criação, importação e utilização de pacotes Python.

• Familiaridade com práticas de DevOps, especialmente os princípios de integração contínua (CI) e entrega contínua (CD)/implantação (CI/CD).

• Compreensão básica do controle de versão com Git.

• Curso pré-requisito: DevOps Essentials for Data Engineering.

Outline

Implantação Automatizada com Pacotes de Automação Declarativa

• DevOps e CI/CD — Revisão

• Demonstração: Configuração do Curso e Autenticação

• Implantando Databricks Projects

• Introdução aos Declarative Automation Bundles (DABs)

• Demonstração: Implantando um DAB Simples

• Laboratório: Implantar um DAB Simples

• Substituições de Variáveis em DABs

• Demonstração: Implantando um DAB em Múltiplos Ambientes

• Laboratório: Implantar um DAB em Múltiplos Ambientes

• Visão Geral dos Modelos de Projeto DAB

• Laboratório: Use um Padrão DAB Padrão do Databricks

• Visão Geral do Projeto CI/CD com DABs

• Demonstração: Integração Contínua e Implantação Contínua com DABs

• Laboratório: Adicionando ML a Workflows de engenharia com DABs

• Desenvolvendo Localmente com Visual Studio Code (VSCode)

• Demonstração: Usando VSCode com Databricks

• CI/CD Práticas Recomendadas & os passos Seguintes com GitHub Actions

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Apache Spark Programming with Databricks - Portuguese BR

Este é um curso introdutório que serve como um ponto de entrada adequado para aprender Data Engineering com o Databricks.

A seguir, descrevemos cada um dos quatro módulos de quatro horas incluídos neste curso.

Nota: para os quatro módulos a seguir, a Databricks Academy está migrando para um formato baseado em notebooks nas sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de lab do Vocareum.

Introduction to Apache Spark

Este curso introdutório aborda os fundamentos do Apache Spark para processamento de dados em larga escala. Você irá explorar a arquitetura distribuída do Spark, dominar a DataFrame API e aprender a ler, gravar e processar dados usando Python. Por meio de exercícios práticos, você desenvolverá as habilidades necessárias para executar transformações e ações do Spark com eficiência.

Developing Applications with Apache Spark

Domine o processamento escalável de dados com Apache Spark neste curso. Aprenda a construir pipelines ETL eficientes, realizar analítica avançada e otimizar transformações de dados distribuídos usando a DataFrame API do Spark. Explore agrupamentos, agregações, junções, operações de conjuntos e funções de janela. Trabalhe com tipos de dados complexos como arrays, mapas e structs, aplicando as melhores práticas para otimização de desempenho.

Stream Processing and Analysis with Apache Spark

Este curso orienta os alunos sobre como desenvolver aplicações de processamento de transmissão escaláveis e tolerantes a falhas usando a API Spark Structured Streaming no Databricks.

Monitoring and Optimizing Apache Spark Workloads on Databricks

Este curso abrange os principais componentes do Databricks platform e do Apache Spark com Delta Lake, com foco na arquitetura Lakehouse, no Unity Catalog e em técnicas de gestão de dados como transações ACID e manutenção de tabelas. Além disso, ensina os alunos a otimizar o desempenho de query por meio de particionamento, shuffles e ferramentas de ajuste, ao mesmo tempo em que utiliza o Spark UI para monitorar aplicações e resolver gargalos.

Languages Available: English | 日本語 | 한국어

Monitoring and Optimizing Apache Spark Workloads on Databricks - Portuguese BR

Nota: A Databricks Academy está fazendo a transição para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides para as aulas. Você pode acessar os notebooks de aula no ambiente de laboratório do Vocareum.

Languages Available: English | 日本語 | 한국어

Stream Processing and Analysis with Apache Spark - Portuguese BR

Este curso orienta os alunos sobre como desenvolver aplicações de processamento de transmissão escaláveis e tolerantes a falhas usando a API Spark Structured Streaming no Databricks.

Languages Available: English | 日本語 |한국어