Automated Deployment with Databricks Asset Bundles - Portuguese BR

Este curso oferece uma revisão abrangente dos princípios de DevOps e sua aplicação em projetos Databricks. Ele começa com uma visão geral dos principais conceitos de DevOps, DataOps, continuous integration (CI), continuous deployment (CD) e testes, e explora como esses princípios podem ser aplicados a pipelines de engenharia de dados.

Em seguida, o curso se concentra na continuous deployment dentro do processo de CI/CD, examinando ferramentas como a Databricks REST API, o SDK e a CLI para a implantação de projetos. Você aprenderá sobre os Databricks Asset Bundles (DABs) e como eles se encaixam no processo de CI/CD. Você se aprofundará em seus principais componentes, estrutura de pastas e como eles otimizam a implantação em vários ambientes de destino na Databricks. Você também aprenderá como adicionar variáveis, modificar, validar, implantar e executar Databricks Asset Bundles para vários ambientes com diferentes configurações usando a Databricks CLI.

Por fim, o curso apresenta o Visual Studio Code como um Interactive Development Environment (IDE) para criar, testar e implantar Databricks Asset Bundles localmente, otimizando seu processo de desenvolvimento. O curso conclui com uma introdução à automação de pipelines de implantação usando o GitHub Actions para aprimorar o fluxo de trabalho de CI/CD com Databricks Asset Bundles.

Ao final deste curso, você estará apto a automatizar implantações de projetos Databricks com Databricks Asset Bundles, melhorando a eficiência por meio de práticas de DevOps.

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Professional

Duration

Prerequisites

Competências/conhecimentos/habilidades:

• Sólido conhecimento da Databricks Platform, incluindo experiência com Databricks Workspaces, Apache Spark, Delta Lake, a arquitetura Medallion, Unity Catalog, Delta Live Tables e Workflows. Em particular, conhecimento sobre como aproveitar Expectations com DLTs.

• Experiência em ingestão e transformação de dados, com proficiência em PySpark para processamento de dados e manipulação de DataFrames. Os candidatos também devem ter experiência em escrever SQL queries de nível intermediário para análise e transformação de dados.

• Proficiência em programação Python, incluindo a capacidade de projetar e implementar funções e classes, e experiência com a criação, importação e utilização de pacotes Python.

• Familiaridade com práticas de DevOps, particularmente princípios de continuous integration and continuous delivery/deployment (CI/CD).

• Conhecimento básico de controle de versão Git.

• Pré-requisito: Curso Fundamentos de DevOps para Engenharia de Dados

Outline

DevOps e CI/CD Revisão

• Revisão de DevOps

• Integração Contínua e Entrega Contínua Implantação/Entrega (CI/CD) Revisão

• Configuração do curso e Autenticação

Deploy com Ativo do Databricks Bundles (DABs)

• Implantação de Databricks Projetos

• Introdução a Recurso Databricks Pacotes (DABs)

• Implantando um DAB simples

• Implantação de um DAB simples

• Substituições de variáveis em DABs

• Implantando um DAB (Pacote de Ativos de Databricks) em Vários ambientes

• Implantar um DAB em vários ambientes

• Visão geral dos templates de projeto DAB

• Usar um modelo de DAB padrão do Databricks

• Visão geral do projeto de CI/CD com DABs

• Integração Contínua e Entrega Contínua Implantação com DABs

• Adicionando ML a Fluxos de trabalho de Engenharia com DABs

Fazendo mais com Ativo Databricks Pacotes

• Desenvolvendo localmente com o Visual Studio Code (VSCode)

• Usando o VSCode com Databricks

• Práticas recomendadas de CI/CD para Engenharia de Dados

• Próximos passos: Implantação automatizada com GitHub Actions

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Databricks Data Privacy - Portuguese BR

Este conteúdo oferece um guia completo para a gestão da privacidade de dados no Databricks. Aborda temas essenciais como a arquitetura do Delta Lake, o isolamento regional de dados, a compliance com o RGPD/CCPA e a utilização do Change Data Feed (CDF). Através de demonstrações práticas e laboratórios interativos, os participantes aprendem a utilizar as funcionalidades do Unity Catalog para proteger dados confidenciais e garantir a compliance, capacitando-os para salvaguardar a integridade dos dados de forma eficaz.

Languages Available: English | 日本語 | Português BR | 한국어

DevOps Essentials for Data Engineering - Portuguese BR

Este curso explora as melhores práticas de engenharia de software e os princípios de DevOps, projetados especificamente para engenheiros de dados que trabalham com Databricks. Os participantes construirão uma base sólida em tópicos-chave, como qualidade de código, controle de versão, documentação e testes. O curso enfatiza o DevOps, abordando os principais componentes, os benefícios e o papel da continuous integration e delivery (CI/CD) na otimização dos fluxos de trabalho de engenharia de dados.

Você aprenderá a aplicar princípios de modularidade no PySpark para criar componentes reutilizáveis e estruturar código de forma eficiente. A experiência prática inclui o projeto e a implementação de testes unitários para funções do PySpark usando a estrutura pytest, seguidos por testes de integração para pipelines de dados Databricks com DLT (Delta Live Tables) e fluxos de trabalho para garantir a confiabilidade.

O curso também aborda operações essenciais do Git no Databricks, incluindo o uso de pastas Git do Databricks para integrar práticas de integração contínua. Por fim, você examinará de alto nível vários métodos de implantação de ativos do Databricks, como REST API, CLI, SDK e DABs (Databricks Asset Bundles), fornecendo o conhecimento de técnicas para implantar e gerenciar seus pipelines.

Ao final do curso, você será proficiente em software engineering e práticas recomendadas de DevOps, permitindo que você crie soluções de engenharia de dados escaláveis, sustentáveis e eficientes.

Data Warehousing with Databricks - Portuguese BR

Este curso foi desenvolvido para profissionais de dados que desejam explorar os recursos de Data Warehousing do Databricks. Supondo que não haja conhecimento prévio do Databricks, ele fornece uma introdução ao uso do Databricks como uma solução moderna de Data Warehousing baseada em nuvem. Os alunos explorarão como usar a Databricks Data Intelligence Platform para ingerir, transformar, governar e analisar dados de forma eficiente usando o dataset padrão TCP-DI do setor como referência. Os alunos também explorarão o Genie, um recurso inovador do Databricks que simplifica a exploração de dados por meio de queries em linguagem natural. Ao final deste curso, os participantes serão equipados com as habilidades fundamentais para implementar e otimizar um data warehouse usando o Databricks.

Languages Available: English | 日本語 | Português BR | 한국어