Data Engineering with Databricks - Portuguese BR

Este curso prepara profissionais de dados para utilizar a Plataforma Databricks Lakehouse para produtizar pipelines de ETL. Os alunos usarão Delta Live Tables para definir e programar pipelines que processam de forma incremental novos dados de uma variedade de fontes de dados no lakehouse. Os alunos também orquestrarão tarefas com o Databricks Workflows e promoverão código com o Databricks Repos.

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

16h

Prerequisites

Pré-requisitos

Pré-requisitos para as duas versões deste curso (Spark SQL e PySpark):

Familiaridade elementar com conceitos de computação em cloud (máquinas virtuais, armazenamento de objetos etc.)
Experiência de produção trabalhando com data warehouses e data lakes
Familiaridade com conceitos básicos de SQL (select, filter, groupby, join etc)

Pré-requisitos adicionais para a versão Python deste curso (PySpark):

Experiência inicial em programação com Python (sintaxe, condições, loops, funções)
Experiência inicial em programação com a API DataFrame do Spark:
Configurar o DataFrameReader e o DataFrameWriter para ler e gravar dados
Expressar transformações de query usando métodos do DataFrame e expressões de coluna
Navegar na documentação do Spark para identificar funções integradas (built-in functions) para várias transformações e tipos de dados

As habilidades de programação PySpark necessárias para a versão Python deste curso podem ser aprendidas no curso Get Started with PySpark Programming (Introdução à programação PySpark) da Databricks Academy.

Upcoming Public Classes

Date	Time	Language	Price
Date	Time	Language	Price	Sep 22 - 23	09 AM - 05 PM (America/Sao_Paulo)	Portuguese - BR	$1500.00
Oct 27 - 28	09 AM - 05 PM (America/Sao_Paulo)	Portuguese - BR	$1500.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Analyst

AI/BI for Data Analysts - Portuguese BR

Neste curso, você aprenderá a usar os recursos que o Databricks fornece para as necessidades de business intelligence: Painéis de IA/BI e AI/BI Genie. Como Analista de Dados da Databricks, você terá a tarefa de criar Painéis de IA/BI e AI/BI Genie Spaces dentro da plataforma, gerenciar o acesso a esses ativos pelas partes interessadas e necessárias e manter esses ativos à medida que são editados, atualizados ou desativados ao longo de sua vida útil. Este curso pretende instruir os participantes sobre como projetar painéis para percepções de negócios, compartilhá-los com colaboradores e partes interessadas e manter esses ativos dentro da plataforma. Os participantes também aprenderão a utilizar os AI/BI Genie Spaces para dar suporte à análise de autoatendimento por meio da criação e manutenção desses ambientes alimentados pelo Databricks Data Intelligence Engine.

DevOps Essentials for Data Engineering - Portuguese BR

Este curso explora as melhores práticas de engenharia de software e os princípios de DevOps, projetados especificamente para engenheiros de dados que trabalham com Databricks. Os participantes construirão uma base sólida em tópicos-chave, como qualidade de código, controle de versão, documentação e testes. O curso enfatiza o DevOps, abordando os principais componentes, os benefícios e o papel da continuous integration e delivery (CI/CD) na otimização dos fluxos de trabalho de engenharia de dados.

Você aprenderá a aplicar princípios de modularidade no PySpark para criar componentes reutilizáveis e estruturar código de forma eficiente. A experiência prática inclui o projeto e a implementação de testes unitários para funções do PySpark usando a estrutura pytest, seguidos por testes de integração para pipelines de dados Databricks com DLT (Delta Live Tables) e fluxos de trabalho para garantir a confiabilidade.

O curso também aborda operações essenciais do Git no Databricks, incluindo o uso de pastas Git do Databricks para integrar práticas de integração contínua. Por fim, você examinará de alto nível vários métodos de implantação de ativos do Databricks, como REST API, CLI, SDK e DABs (Databricks Asset Bundles), fornecendo o conhecimento de técnicas para implantar e gerenciar seus pipelines.

Ao final do curso, você será proficiente em software engineering e práticas recomendadas de DevOps, permitindo que você crie soluções de engenharia de dados escaláveis, sustentáveis e eficientes.

Languages Available: English | 日本語 | Português BR | 한국어

Data Ingestion with Lakeflow Connect - Portuguese BR

"Este curso fornece uma introdução abrangente ao Lakeflow Connect, uma solução escalável e simplificada para a ingestão de dados em Databricks de uma ampla gama de fontes. Você começará explorando os diferentes tipos de conectores Lakeflow Connect (Padrão e Gerenciado) e aprenderá várias técnicas de ingestão de dados, incluindo ingestão em lote, lote incremental e transmissão. Você também analisará os principais benefícios do uso de tabelas Delta e da arquitetura Medallion.

Em seguida, você desenvolverá habilidades práticas para ingerir dados do armazenamento de objetos do Cloud usando os conectores padrão do Lakeflow Connect. Isso inclui trabalhar com métodos como CREATE TABLE AS SELECT (CTAS), COPY INTO e Auto Loader, com ênfase nos benefícios e considerações de cada abordagem. Você também aprenderá a acrescentar colunas de metadados às tabelas de nível bronze durante a ingestão no Databricks Data Intelligence Platform. Em seguida, o curso aborda como lidar com registros que não correspondem ao esquema da tabela usando a coluna de dados resgatados, juntamente com estratégias para gerenciar e analisar esses dados. Você também explorará técnicas para ingerir e nivelar dados JSON semiestruturados.

Em seguida, você explorará como executar a ingestão de dados de nível empresarial usando os Conectores Gerenciados do Lakeflow Connect para trazer dados de bancos de dados e aplicativos de software como serviço (SaaS). O curso também apresenta o Partner Connect como uma opção para integrar ferramentas de parceiros em seus fluxos de trabalho de ingestão.

Finalmente, o curso termina com estratégias alternativas de ingestão, incluindo operações MERGE INTO e alavancagem do Databricks Marketplace, equipando você com uma base sólida para dar suporte a casos de uso modernos de engenharia de dados."

Languages Available: English | 日本語 | Português BR | 한국어