Build Data Pipelines with Lakeflow Spark Declarative Pipelines - Portuguese BR
Este curso apresenta aos usuários os conceitos e habilidades essenciais necessários para criar pipelines de dados usando Lakeflow Spark Declarative Pipelines em Databricks para ingestão e processamento incrementais em lote ou transmissão por meio de várias streaming tables e materialized views. Projetado para engenheiros de dados novos em Spark Declarative Pipelines, o curso fornece uma visão geral abrangente dos principais componentes, como processamento incremental de dados, streaming tables, materialized views e views temporárias, destacando suas finalidades e diferenças específicas.
Os tópicos abordados incluem:
- Desenvolvimento e depuração de pipelines ETL com o editor de vários arquivos no Lakeflow usando SQL (com exemplos de código Python fornecidos)
- Como os Lakeflow Spark Declarative Pipelines acompanham dependências de dados em um pipeline através do gráfico de pipeline
- Configuração de recursos de compute do pipeline, ativos de dados, modos de gatilho e outras opções avançadas.
Em seguida, o curso apresenta as expectativas de qualidade de dados no Spark Declarative Pipelines, orientando os usuários pelo processo de integração de expectativas em pipelines para validar e impor a integridade dos dados. Em seguida, os alunos explorarão como colocar um pipeline em produção, incluindo opções de agendamento, modo de produção e habilitação do log de eventos do pipeline para monitorar o desempenho e a integridade do pipeline.
Finalmente, o curso aborda como implementar a captura de dados de alterações (CDC) usando a sintaxe AUTO CDC INTO dentro dos Spark Declarative Pipelines para gerenciar dimensões que mudam lentamente (SCD Tipo 1 e Tipo 2), preparando os usuários para integrar CDC em seus próprios pipelines.
Languages Available: English | 日本語 | Português BR | 한국어
- ⇾ Noções básicas sobre a Databricks Data Intelligence Platform, incluindo Databricks Workspaces, Apache Spark, Delta Lake, Medallion Architecture e Unity Catalog.
⇾ Experiência na ingestão de dados brutos em tabelas Delta, incluindo o uso da read_files função SQL para carregar formatos como CSV, JSON, TXT e Parquet.
⇾ Proficiência na transformação de dados usando SQL, incluindo escrever queries de nível intermediário e uma compreensão básica de joins SQL.
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Registre-se agora
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Registre-se agora
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
