Databricks Streaming and Lakeflow Spark Declarative Pipelines - Portuguese BR

Este curso oferece uma compreensão abrangente do Spark Structured Streaming e do Delta Lake, incluindo modelos de compute, configuração para leitura de dados em tempo real e manutenção da qualidade dos dados num ambiente de transmissão.

Nota: Este curso faz parte da série de cursos "Data Engineering Avançada com o Databricks".

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Professional

Duration

Prerequisites

No mínimo, você deve conhecer os itens a seguir antes de tentar aprender esse conteúdo:

• Capacidade de realizar tarefas básicas de desenvolvimento de código utilizando o Databricks Data Engineering and Data Science workspace (criar clusters, executar código em notebooks, utilizar operações básicas de notebooks, importar repositórios do Git, etc.)

• Experiência intermédia em programação com PySpark

• Extrair dados de diversos formatos de ficheiros e fontes de dados

• Aplicar diversas transformações comuns para limpar os dados

• Reestruturar e manipular dados complexos utilizando funções integradas avançadas

• Experiência intermediária em programação com Delta Lake (criação de tabelas, realização de atualizações completas e incrementais, compressão de ficheiros, restauro de versões anteriores, etc.)

• Experiência básica na configuração e programação de pipelines de dados utilizando a interface de utilizador do Lakeflow Spark Declarative Pipelines

• Experiência básica na definição de Lakeflow Spark Declarative Pipelines utilizando o PySpark

• Ingestão e processamento de dados utilizando Auto Loader e sintaxe PySpark

• Processamento de Change Data Capture feeds com a sintaxe APPLY CHANGES INTO

• Análise de log de eventos e resultados de pipelines para resolver problemas de sintaxe de Declarative Pipeline

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Customer registration Partner registration

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Generative AI Engineer

AI Agent Fundamentals - Portuguese BR

Este curso básico apresenta os agentes de IA e seu uso em aplicativos corporativos na Databricks, incluindo a plataforma Mosaic AI e o Agente Bricks. Os alunos examinarão o que são os agentes de IA, como eles funcionam e como imitam o raciocínio humano para lidar com tarefas complexas.

O curso aborda casos de uso de agentes do mundo real e fornece uma introdução básica a tópicos avançados, como fluxos de trabalho e sistemas multiagentes. Ele também explora como o Agente Bricks simplifica o desenvolvimento de agentes prontos para uso corporativo em vários aplicativos, com demonstrações mostrando como criar e usar agentes em Databricks.

Languages Available: English | 日本語 | Português BR | 한국어

Databricks Data Privacy - Portuguese BR

Este conteúdo oferece um guia completo para a gestão da privacidade de dados no Databricks. Aborda temas essenciais como a arquitetura do Delta Lake, o isolamento regional de dados, a compliance com o RGPD/CCPA e a utilização do Change Data Feed (CDF). Através de demonstrações práticas e laboratórios interativos, os participantes aprendem a utilizar as funcionalidades do Unity Catalog para proteger dados confidenciais e garantir a compliance, capacitando-os para salvaguardar a integridade dos dados de forma eficaz.

Nota: Este curso é o segundo da série “Engenharia de dados avançada com Databricks”.

Languages Available: English | 日本語 | Português BR

Free

Professional

Data Engineer

Automated Deployment with Databricks Asset Bundles - Portuguese BR

Este curso oferece uma revisão abrangente dos princípios de DevOps e sua aplicação em projetos Databricks. Ele começa com uma visão geral dos principais conceitos de DevOps, DataOps, continuous integration (CI), continuous deployment (CD) e testes, e explora como esses princípios podem ser aplicados a pipelines de engenharia de dados.

Em seguida, o curso se concentra na continuous deployment dentro do processo de CI/CD, examinando ferramentas como a Databricks REST API, o SDK e a CLI para a implantação de projetos. Você aprenderá sobre os Databricks Asset Bundles (DABs) e como eles se encaixam no processo de CI/CD. Você se aprofundará em seus principais componentes, estrutura de pastas e como eles otimizam a implantação em vários ambientes de destino na Databricks. Você também aprenderá como adicionar variáveis, modificar, validar, implantar e executar Databricks Asset Bundles para vários ambientes com diferentes configurações usando a Databricks CLI.

Por fim, o curso apresenta o Visual Studio Code como um Interactive Development Environment (IDE) para criar, testar e implantar Databricks Asset Bundles localmente, otimizando seu processo de desenvolvimento. O curso conclui com uma introdução à automação de pipelines de implantação usando o GitHub Actions para aprimorar o fluxo de trabalho de CI/CD com Databricks Asset Bundles.

Ao final deste curso, você estará apto a automatizar implantações de projetos Databricks com Databricks Asset Bundles, melhorando a eficiência por meio de práticas de DevOps.

Nota: Este curso é o quarto da série “Engenharia de dados avançada com Databricks”.

Languages Available: English | 日本語 | Português BR | 한국어

Free

Professional