Build Data Pipelines with Lakeflow Spark Declarative Pipelines - Portuguese BR

Este curso apresenta aos usuários os conceitos e habilidades essenciais necessários para criar pipelines de dados usando Lakeflow Spark Declarative Pipelines em Databricks para ingestão e processamento incrementais em lote ou transmissão por meio de várias streaming tables e materialized views. Projetado para engenheiros de dados novos em Spark Declarative Pipelines, o curso fornece uma visão geral abrangente dos principais componentes, como processamento incremental de dados, streaming tables, materialized views e views temporárias, destacando suas finalidades e diferenças específicas.

Os tópicos abordados incluem:

- Desenvolvimento e depuração de pipelines ETL com o editor de vários arquivos no Lakeflow usando SQL (com exemplos de código Python fornecidos)

- Como os Lakeflow Spark Declarative Pipelines acompanham dependências de dados em um pipeline através do gráfico de pipeline

- Configuração de recursos de compute do pipeline, ativos de dados, modos de gatilho e outras opções avançadas.

Em seguida, o curso apresenta as expectativas de qualidade de dados no Spark Declarative Pipelines, orientando os usuários pelo processo de integração de expectativas em pipelines para validar e impor a integridade dos dados. Em seguida, os alunos explorarão como colocar um pipeline em produção, incluindo opções de agendamento, modo de produção e habilitação do log de eventos do pipeline para monitorar o desempenho e a integridade do pipeline.

Finalmente, o curso aborda como implementar a captura de dados de alterações (CDC) usando a sintaxe AUTO CDC INTO dentro dos Spark Declarative Pipelines para gerenciar dimensões que mudam lentamente (SCD Tipo 1 e Tipo 2), preparando os usuários para integrar CDC em seus próprios pipelines.

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

Prerequisites

⇾ Noções básicas sobre a Databricks Data Intelligence Platform, incluindo Databricks Workspaces, Apache Spark, Delta Lake, Medallion Architecture e Unity Catalog.

⇾ Experiência na ingestão de dados brutos em tabelas Delta, incluindo o uso da read_files função SQL para carregar formatos como CSV, JSON, TXT e Parquet.

⇾ Proficiência na transformação de dados usando SQL, incluindo escrever queries de nível intermediário e uma compreensão básica de joins SQL.

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Building Reliable Conversational Agents with Genie - Portuguese BR

Este curso ensina como projetar, construir e manter um Genie Space do Databricks, uma interface de linguagem natural que permite que usuários de negócios façam perguntas sobre dados controlados e recebam respostas baseadas em SQL sem precisar escrever código.

Você aprenderá como o Genie se encaixa na família de produtos de IA/BI do Databricks e como ele traduz a linguagem natural em consultas SQL confiáveis. O curso se concentra no que é necessário para criar um Genie Space que forneça resultados precisos, consistentes e confiáveis.

Você seguirá um fluxo de trabalho completo, do início ao fim, desde a compreensão dos dados de origem e a definição de parâmetros de referência até a configuração e o aprimoramento de um Genie Space usando o conjunto completo de ferramentas de curadoria do Knowledge Store. Isso inclui metadados, sinônimos, correspondência de prompts, lógica SQL, consultas de exemplo e instruções de texto.

Você também aprenderá a compartilhar Genie Spaces com usuários de negócios por meio do Databricks One, compreenderá como a governança do Unity Catalog é aplicada automaticamente e utilizará o monitoramento e o feedback dos usuários para melhorar continuamente a qualidade ao longo do tempo.

Ao final do curso, você será capaz de criar e gerenciar um Genie Space pronto para produção que ofereça análises conversacionais em escala, governadas e no modelo de autoatendimento.

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, deixando de usar apresentações de slides para as palestras. Você pode acessar os cadernos das palestras no ambiente de laboratório Vocareum.

Lakebase App Integration and Management - Portuguese BR

Neste curso, você aprenderá a integrar o Databricks Apps ao Lakebase, a plataforma PostgreSQL totalmente gerenciada e nativa cloud do Databricks, para criar fluxos de trabalho de aplicativos seguros e prontos para uso empresarial. Com base no conhecimento fundamental sobre o Databricks Apps e o Lakebase, este curso foca nos fundamentos do PostgreSQL, no Lakebase Autoscaling, em práticas seguras de SQL, no gerenciamento seguro de conexões, no acesso baseado em funções, na integração da Data API e no desenvolvimento baseado em branches. Você também explorará como o AppKit pode acelerar o desenvolvimento de aplicativos dentro desse fluxo de trabalho, ajudando você a passar dos conceitos de integração para a implementação de forma mais eficiente.

Architecting Data Warehouses for Large-Scale Deployments - Portuguese BR

Este curso aborda a otimização de desempenho, o controle de custos e a segurança para implantações de data warehousing em grande escala.

Este curso é destinado a profissionais de data warehousing responsáveis por gerenciar ambientes Databricks que atendem centenas ou milhares de usuários em várias unidades de negócio. Você adquirirá as habilidades necessárias para escalar com eficiência as operações de data warehousing, mantendo alto desempenho, custo-benefício e conformidade com os padrões de segurança.

Observação: A Databricks Academy está a migrar para um formato baseado em notebooks para as aulas dentro do ambiente Databricks, descontinuando o uso de diapositivos nas aulas. Pode aceder aos notebooks das aulas no ambiente de laboratório Vocareum.

Languages Available: English | 日本語 | 한국어 | Español | française