Advanced Data Engineering with Databricks - Portuguese BR
Este curso serve como um ponto de entrada apropriado para aprender Engenharia de Dados Avançada com Databricks. Abaixo, descreveremos cada um dos quatro módulos de quatro horas incluídos neste curso.
Databricks Streaming and Delta Live Tables
O curso Databricks Streaming and Delta Live Tables (DSDLT) foi desenvolvido para preparar os alunos para o exame de certificação Databricks Certified Professional Data Engineer. O conteúdo deste curso consiste nos módulos de nível profissional do roteiro de aprendizagem para engenharia de dados e pode ser ministrado como treinamento conduzido por instrutor (ILT).
Databricks Data Privacy
Este conteúdo fornece um guia abrangente sobre o gerenciamento da privacidade de dados na Databricks. Ele aborda tópicos importantes, como arquitetura Delta Lake, isolamento de dados regional, compliance com GDPR/CCPA e uso de Change Data Feed (CDF). Por meio de demonstrações práticas e laboratórios práticos, os participantes aprendem a usar os recursos do Unity Catalog para proteger dados confidenciais e garantir a compliance, capacitando-os a proteger a integridade dos dados de forma eficaz.
Databricks Performance Optimization
Neste curso, você aprenderá a otimizar cargas de trabalho e disposições com Spark e Delta Lake e analisar o Spark UI para avaliar desempenho e depurar aplicativos. Abordaremos tópicos como transmissão, clustering líquido, omissão de dados, cache, fótons e muito mais.
Automated Deployment with Databricks Asset Bundles
Este curso fornece uma revisão abrangente dos princípios de DevOps e sua aplicação em projetos Databricks. Ele começa com uma visão geral dos principais DevOps, DataOps, integração contínua (CI), implantação contínua (CD) e testes, e explora como esses princípios podem ser aplicados a pipelines de engenharia de dados.
Em seguida, o curso se concentra na implantação contínua dentro do processo de CI/CD, examinando ferramentas como a API REST do Databricks, o SDK e a CLI para implantação de projetos. Você aprenderá sobre os DABs (Asset Bundles, pacotes de ativos do Databricks) e como eles se encaixam no processo de CI/CD. Você se aprofundará em seus principais componentes, na estrutura de pastas e em como eles simplificam a implantação em vários ambientes de destino no Databricks. Você também aprenderá a adicionar variáveis, modificar, validar, implantar e executar Databricks Asset Bundles para vários ambientes com configurações diferentes usando a CLI do Databricks.
Por fim, o curso apresenta o Visual Studio Code como um ambiente de desenvolvimento interativo (IDE) para criar, testar e implantar Databricks Asset Bundles localmente, otimizando seu processo de desenvolvimento. O curso termina com uma introdução à automação de pipelines de implantação usando ações do GitHub para aprimorar o fluxo de trabalho de CI/CD com Databricks Asset Bundles.
Ao final deste curso, você estará equipado para automatizar as implantações de projetos do Databricks com os Databricks Asset Bundles, melhorando a eficiência por meio de práticas de DevOps.
Languages Available: English | 日本語 | Português BR | 한국어
- Capacidade de executar tarefas básicas de desenvolvimento de código utilizando o espaço de trabalho de Engenharia de Dados e Ciência de Dados do Databricks (criar clusters, executar código em notebooks, utilizar operações básicas de notebook, importar repositórios do git, etc.)
- Experiência intermédia em programação com PySpark
- Extraia dados de uma variedade de formatos de ficheiro e fontes de dados
- Aplicar uma série de transformações comuns para limpar os dados
- Remodele e manipule dados complexos utilizando funções avançadas integradas
- Experiência intermédia em programação com Delta Lake (criar tabelas, executar atualizações completas e incrementais, comprimir ficheiros, restaurar versões anteriores, etc.)
- Experiência de principiante na configuração e agendamento de pipelines de dados utilizando a IU de Delta Live Tables (DLT)
- Experiência de principiante na definição de pipelines Delta Live Tables usando o PySpark
- Ingerir e processar dados utilizando a sintaxe Auto Loader e PySpark
- Processar feeds de Change Data Capture com a sintaxe APPLY CHANGES INTO
- Reveja os registos de eventos e os resultados do pipeline para solucionar problemas de sintaxe DLT
- Grande conhecimento da plataforma Databricks, incluindo experiência com Databricks Workspaces, Apache Spark, Delta Lake, Medallion Architecture, Unity Catalog, Delta Live Tables e Workflows. Em particular, conhecimento sobre como alavancar expectativas com DLTs.
- Experiência em ingestão e transformação de dados, com proficiência em PySpark para processamento de dados e manipulação de DataFrame. Os candidatos devem também ter experiência na escrita de queries SQL de nível intermédio para análise e transformação de dados.
- Proficiência em programação Python, incluindo a capacidade de desenhar e implementar funções e classes, e experiência na criação, importação e utilização de pacotes Python.
- Familiaridade com as práticas de DevOps, particularmente princípios de continuous integration e continuous delivery/deployment (CI/CD).
- Uma compreensão básica do controlo de versão do Git.
- Curso pré-requisito: Noções básicas de DevOps para Engenharia de Dados
Upcoming Public Classes
Date | Time | Language | Price |
|---|---|---|---|
Oct 06 - 07 | 09 AM - 05 PM (America/Sao_Paulo) | Portuguese - BR | $1500.00 |
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Register now
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Register now
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
