Stream Processing and Analysis with Apache Spark - Portuguese BR

Este curso orienta os alunos sobre como desenvolver aplicações de processamento de transmissão escaláveis e tolerantes a falhas usando a API Spark Structured Streaming no Databricks.

Nota: A Databricks Academy está fazendo a transição para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides para as aulas. Você pode acessar os notebooks de aula no ambiente de laboratório do Vocareum.

Languages Available: English | 日本語 |한국어

Skill Level

Associate

Duration

Prerequisites

Neste curso, o conteúdo foi desenvolvido para participantes com as seguintes habilidades/conhecimentos/competências:

• Conhecimento básico de programação

• Familiaridade com Python

• Compreensão básica de consultas SQL (SELECT, JOIN, GROUP BY)

• Familiaridade com conceitos de processamento de dados

• Compreensão básica de Apache Spark

Outline

Introdução ao Processamento de Transmissão

• Introdução ao Processamento de Transmissão

• Demonstração: Sua Primeira Query de Transmissão

Spark Structured Streaming

• Spark Structured Streaming

• Demonstração: Introdução ao Spark Structured Streaming

• Laboratório: Construindo Consultas de Transmissão

Agregações de Transmissão, Janelas e Marcas d'Água

• Agregações de Transmissão, Janelas e Marcas d'Água

• Demonstração: Agregação por Janela no Spark Structured Streaming

• Laboratório: Agregação em Janela e Dados Atrasados

Modo em Tempo Real

• Modo em Tempo Real no Structured Streaming

• Demonstração: Kafka para Spark em Tempo Real com Visualização ao Vivo

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Apache Spark Programming with Databricks - Portuguese BR

Este é um curso introdutório que serve como um ponto de entrada adequado para aprender Data Engineering com o Databricks.

A seguir, descrevemos cada um dos quatro módulos de quatro horas incluídos neste curso.

Nota: para os quatro módulos a seguir, a Databricks Academy está migrando para um formato baseado em notebooks nas sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de lab do Vocareum.

Introduction to Apache Spark

Este curso introdutório aborda os fundamentos do Apache Spark para processamento de dados em larga escala. Você irá explorar a arquitetura distribuída do Spark, dominar a DataFrame API e aprender a ler, gravar e processar dados usando Python. Por meio de exercícios práticos, você desenvolverá as habilidades necessárias para executar transformações e ações do Spark com eficiência.

Developing Applications with Apache Spark

Domine o processamento escalável de dados com Apache Spark neste curso. Aprenda a construir pipelines ETL eficientes, realizar analítica avançada e otimizar transformações de dados distribuídos usando a DataFrame API do Spark. Explore agrupamentos, agregações, junções, operações de conjuntos e funções de janela. Trabalhe com tipos de dados complexos como arrays, mapas e structs, aplicando as melhores práticas para otimização de desempenho.

Stream Processing and Analysis with Apache Spark

Este curso orienta os alunos sobre como desenvolver aplicações de processamento de transmissão escaláveis e tolerantes a falhas usando a API Spark Structured Streaming no Databricks.

Monitoring and Optimizing Apache Spark Workloads on Databricks

Este curso abrange os principais componentes do Databricks platform e do Apache Spark com Delta Lake, com foco na arquitetura Lakehouse, no Unity Catalog e em técnicas de gestão de dados como transações ACID e manutenção de tabelas. Além disso, ensina os alunos a otimizar o desempenho de query por meio de particionamento, shuffles e ferramentas de ajuste, ao mesmo tempo em que utiliza o Spark UI para monitorar aplicações e resolver gargalos.

Languages Available: English | 日本語 | 한국어

Monitoring and Optimizing Apache Spark Workloads on Databricks - Portuguese BR

Nota: A Databricks Academy está fazendo a transição para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides para as aulas. Você pode acessar os notebooks de aula no ambiente de laboratório do Vocareum.

Languages Available: English | 日本語 | 한국어

Developing Applications with Apache Spark - Portuguese BR

Observação: Para os ficheiros das aulas SCORM, por favor certifique-se de fechar a janela SCORM após concluir o conteúdo. Não clique no botão 'Next Lesson', pois isso pode impedir que o módulo SCORM seja marcado como completo.

Languages Available: English | 日本語 | 한국어