Ir para o conteúdo principal

Data Ingestion with Lakeflow Connect - Portuguese BR

Este curso oferece uma introdução abrangente ao LakeFlow Connect, uma solução escalável e simplificada para ingestão de dados no Databricks a partir de uma ampla variedade de fontes. Você começará explorando os diferentes tipos de conectores do LakeFlow Connect (Standard e Managed) e aprenderá diversas técnicas de ingestão de dados, incluindo ingestão em lotes, em lotes incremental e por transmissão. Você também revisará os principais benefícios do uso da Tabela Delta e da Arquitetura Medallion.


Em seguida, você desenvolverá habilidades práticas para ingestão de dados de armazenamento de objetos cloud usando os Conectores Standard do LakeFlow Connect. Isso inclui o uso de métodos como CREATE TABLE AS SELECT (CTAS), COPY INTO e Auto Loader, com ênfase nos benefícios e considerações de cada abordagem. Você também aprenderá como adicionar colunas de metadados às suas tabelas de nível Bronze durante a ingestão na Databricks Data Intelligence Platform. O curso aborda ainda como lidar com registros que não correspondem ao esquema da sua tabela usando a coluna de dados recuperados, juntamente com estratégias para gerenciar e analisar esses dados. Você também explorará técnicas para ingestão e achatamento de dados JSON semiestruturados.


Em seguida, você explorará como realizar ingestão de dados em nível empresarial usando os Conectores Managed do LakeFlow Connect para trazer dados de bancos de dados e aplicações Software-as-a-Service (SaaS). O curso também apresenta o Partner Connect como uma opção para integrar ferramentas de parceiros às suas cargas de trabalho de ingestão.


Por fim, o curso encerra com estratégias alternativas de ingestão, incluindo operações MERGE INTO e o uso do Databricks Marketplace, equipando você com uma base sólida para suportar casos de uso modernos de engenharia de dados.


Nota: A Databricks Academy está fazendo a transição para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides para as aulas. Você pode acessar os notebooks de aula no ambiente de laboratório do Vocareum.


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Associate
Duration
4h
Prerequisites

Neste curso, o conteúdo foi desenvolvido para participantes com as seguintes habilidades/conhecimentos/competências:

• Compreensão básica do Databricks Data Intelligence Platform, incluindo Databricks Workspaces, Apache Spark, Delta Lake, a Arquitetura Medallion e Unity Catalog.

• Compreensão básica de fluxos de trabalho de ingestão de dados (lotes, transmissão, incremental) e princípios gerais de ETL

• Experiência com diversos formatos de arquivo (por exemplo, Parquet, CSV, JSON, TXT).

• Proficiência em SQL e Python.

• Familiaridade com a execução de código em Databricks Notebooks.

Outline

Ingestão de Dados com LakeFlow Connect

• Engenharia de Dados no Databricks

• Demonstração: Explorando o Ambiente de Laboratório

• Ingestão de Dados do Cloud Storage

• Demonstração: Ingestão de Dados com CREATE TABLE AS e COPY INTO

• Demonstração: Criar Tabelas de Transmissão com SQL usando Auto Loader

• Adicionando Colunas de Metadados na Ingestão

• Demonstração: Adicionando Colunas de Metadados Durante a Ingestão

• Trabalhando com a Coluna de Dados Recuperados

• Demonstração: Tratamento de Ingestão de CSV com a Coluna de Dados Resgatados

• Laboratório: Criando Tabelas Bronze a partir de Arquivos CSV

• Ingestão de Dados Semiestruturados: JSON

• Demonstração: Ingestão de Arquivos JSON com Databricks

• Laboratório: Criando Tabelas Bronze a partir de Arquivos JSON

• Visão Geral sobre Ingestão de Dados Corporativos

• Demonstração: Ingestão de Dados Empresariais com LakeFlow Connect

• Recursos Adicionais e Ingestão em Tabelas Delta Existentes

• Demonstração: BÔNUS - Ingestão de Dados com MERGE INTO

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Generative AI Engineer

Generative AI Engineering with Databricks - Portuguese BR

Este curso é destinado a cientistas de dados, engenheiros de machine learning e outros profissionais de dados que desejam criar aplicações de IA generativa usando os frameworks mais recentes e populares e os recursos do Databricks.

Observação: a Databricks Academy está migrando para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, deixando de usar apresentações de slides nas aulas. Você pode acessar os notebooks das aulas no ambiente de laboratório Vocareum.

A seguir, descrevemos cada um dos quatro módulos de quatro horas incluídos neste curso.

Building RAG Agents with Agent Bricks: este curso oferece treinamento prático para criar agentes de recuperação usando o Databricks Agent Bricks. Os participantes aprenderão a explorar e consultar Knowledge Assistants, analisar documentos não estruturados convertendo-os em dados estruturados usando AI Functions, dividir texto em partes (chunks) para recuperação semântica, criar índices de Vector Search e criar Knowledge Assistants prontos para produção com suporte de várias fontes de conhecimento.

Building Agentic Applications on Databricks: este curso ensina os alunos a criar aplicações agênticas de nível de produção no Databricks. Os alunos aprendem a criar ferramentas de agente governadas usando Unity Catalog e MCP, criar sistemas de agente único e multiagente com o OpenAI Agents SDK e aproveitar o Agent Bricks e o Genie para casos de uso de knowledge assistant orquestrados com um agente supervisor. O curso abrange toda a progressão, desde a prototipagem de ferramentas até a implantação em produção, com experiência prática usando o rastreamento (tracing) do MLflow para observar a execução do agente.

Agent Evaluation on Databricks: este curso ensina os alunos a avaliar sistematicamente agentes de IA usando o framework de avaliação do MLflow, abordando os desafios exclusivos dos sistemas de IA não determinísticos com os quais os testes de software tradicionais não conseguem lidar. Os alunos aprendem a implementar várias abordagens de avaliação, incluindo juízes integrados (built-in judges) para critérios comuns, como correção e segurança, juízes baseados em diretrizes para requisitos específicos de negócios e juízes personalizados para necessidades especializadas. O curso abrange tanto a avaliação offline usando conjuntos de dados (datasets) selecionados quanto o monitoramento de produção online, com experiência prática usando os recursos de rastreamento (tracing) do MLflow para entender os padrões de execução do agente e coletar feedback humano de diferentes tipos de partes interessadas. Por meio de demonstrações e laboratórios práticos, os alunos desenvolvem habilidades na criação de fluxos de trabalho de avaliação que impulsionam melhorias contínuas de qualidade ao longo do ciclo de vida de desenvolvimento de agentes de IA.

Deploying and Monitoring Agent Applications on Databricks: este curso aborda o ciclo de vida completo para implantar e monitorar agentes de IA generativa no Databricks. Os participantes aprenderão a implantar agentes como Databricks Apps usando Declarative Automation Bundles (DABs), integrar ferramentas por meio do Model Context Protocol (MCP), instrumentar agentes com o MLflow Tracing e avaliar a qualidade em produção usando scorers, juízes multi-turno e avaliação online. Por meio de demos e laboratórios práticos, os participantes ganharão experiência prática na criação, observação e monitoramento de agentes de IA de nível de produção na plataforma Databricks.

Languages Available: English | 日本語 | Português BR | 한국어

Paid
16h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.