Apache Spark Programming with Databricks - Portuguese BR
Este é um curso introdutório que serve como um ponto de entrada adequado para aprender Data Engineering com o Databricks.
A seguir, descrevemos cada um dos quatro módulos de quatro horas incluídos neste curso.
Nota: para os quatro módulos a seguir, a Databricks Academy está migrando para um formato baseado em notebooks nas sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de lab do Vocareum.
Introduction to Apache Spark
Este curso introdutório aborda os fundamentos do Apache Spark para processamento de dados em larga escala. Você irá explorar a arquitetura distribuída do Spark, dominar a DataFrame API e aprender a ler, gravar e processar dados usando Python. Por meio de exercícios práticos, você desenvolverá as habilidades necessárias para executar transformações e ações do Spark com eficiência.
Developing Applications with Apache Spark
Domine o processamento escalável de dados com Apache Spark neste curso. Aprenda a construir pipelines ETL eficientes, realizar analítica avançada e otimizar transformações de dados distribuídos usando a DataFrame API do Spark. Explore agrupamentos, agregações, junções, operações de conjuntos e funções de janela. Trabalhe com tipos de dados complexos como arrays, mapas e structs, aplicando as melhores práticas para otimização de desempenho.
Stream Processing and Analysis with Apache Spark
Este curso orienta os alunos sobre como desenvolver aplicações de processamento de transmissão escaláveis e tolerantes a falhas usando a API Spark Structured Streaming no Databricks.
Monitoring and Optimizing Apache Spark Workloads on Databricks
Este curso abrange os principais componentes do Databricks platform e do Apache Spark com Delta Lake, com foco na arquitetura Lakehouse, no Unity Catalog e em técnicas de gestão de dados como transações ACID e manutenção de tabelas. Além disso, ensina os alunos a otimizar o desempenho de query por meio de particionamento, shuffles e ferramentas de ajuste, ao mesmo tempo em que utiliza o Spark UI para monitorar aplicações e resolver gargalos.
• Conhecimento básico de programação
• Familiaridade com Python
• Compreensão básica de consultas SQL (SELECT, JOIN, GROUP BY)
• Familiaridade com conceitos de processamento de dados
Outline
Introduction to Apache Spark
• Arquitetura do Tempo de execução do Apache Spark
• Spark DataFrames e SQL
• Fundamentos de Programação de Sistemas Distribuídos
• ETL com a DataFrame API
Developing Applications with Apache Spark
• Conceitos Básicos da API DataFrame
• Agrupando e Agregando Dados
• Operações Relacionais de DataFrame
• Trabalhando com Dados Complexos
Stream Processing and Analysis with Apache Spark
• Introdução ao Processamento de Transmissão
• Spark Structured Streaming
• Agregações de Transmissão, Janelas e Marcas d'Água
• Modo em Tempo Real
Monitoring and Optimizing Apache Spark Workloads on Databricks
• Apache Spark and Databricks
• Usando Apache Spark com Delta Lake
• Otimizando Apache Spark
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Registre-se agora
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Registre-se agora
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
