Databricks Streaming and Lakeflow Spark Declarative Pipelines - Portuguese BR

Este curso é destinado a cientistas de dados, engenheiros de aprendizado de máquina e outros profissionais de dados que desejam criar aplicativos de IA generativa usando as estruturas mais recentes e populares e os recursos do Databricks. 

A seguir, descrevemos cada um dos quatro módulos de quatro horas incluídos neste curso.

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, descontinuando o uso de apresentações de slides nas duas primeiras módulos. Você pode acessar os cadernos das aulas no ambiente de laboratório Vocareum.

Building Retrieval Agents On Databricks: Este curso oferece formação prática para a criação de agentes de recuperação na Databricks Data Intelligence Platform. Os participantes aprenderão a analisar documentos não estruturados e a convertê-los em dados estruturados, a transformar e segmentar conteúdo para workflows de recuperação, a criar soluções de vector search para recuperação de documentos e a desenvolver agentes prontos para produção utilizando MLflow e Agent Bricks. O curso abrange todo o ciclo de vida do agente, desde o processamento de documentos até à geração de incorporações, vector indexing e implantação do agente com capacidades de governação.

Building Single-Agent Applications on Databricks: Este curso oferece formação prática para a criação de aplicações de agente único na Databricks Data Intelligence Platform. Os alunos aprenderão a criar AI Agents que utilizam as funções do Unity Catalog como ferramentas, a implementar um rastreio e monitorização abrangentes com o MLflow e a implementar agentes utilizando frameworks tradicionais como o LangChain e soluções modernas como o Agent Bricks. O curso abrange todo o ciclo de vida do agente, desde a criação e teste iniciais da ferramenta no AI Playground até à implementação em produção, com recursos de governação, avaliação e melhoria contínua.

Generative AI Application Evaluation and Governance: Esta é sua introdução à avaliação e à governança de sistemas de IA generativa. Primeiro, você explorará o significado e a motivação para criar sistemas de avaliação e governança/segurança. Em seguida, conectaremos os sistemas de avaliação e governança à plataforma de inteligência de dados da Databricks. Em terceiro lugar, ensinaremos a você uma variedade de técnicas de avaliação para componentes e tipos de aplicativos específicos. Por fim, o curso será concluído com uma análise da avaliação de sistemas completos de IA com relação ao desempenho e ao custo.

Generative AI Application Deployment and Monitoring: Pronto para aprender a implantar, operacionalizar e monitorar aplicativos de IA generativa? Este módulo o ajudará a adquirir habilidades na implantação de aplicativos de IA generativa usando ferramentas como o Model Serving. Também abordaremos como operacionalizar aplicativos de IA generativa seguindo as práticas recomendadas e as arquiteturas recomendadas. Por fim, discutiremos a ideia de monitorar aplicativos de IA generativa e seus componentes usando o Lakehouse Monitoring.

Languages Available: English | 日本語 | Português BR | 한국어

Este é um curso introdutório que serve como um ponto de partida adequado para aprender Engenharia de Dados com o Databricks.

Abaixo, descrevemos cada um dos quatro módulos de quatro horas incluídos neste curso.

1. Data Ingestion with Lakeflow Connect 

Este curso oferece uma introdução abrangente ao Lakeflow Connect como uma solução escalável e simplificada para ingestão de dados no Databricks a partir de uma variedade de fontes de dados. Você começará explorando os diferentes tipos de conectores no Lakeflow Connect (padrão e gerenciado), aprenderá sobre várias técnicas de ingestão, incluindo em lote, em lote incremental e streaming, e então revisará os principais benefícios das tabelas Delta e da arquitetura Medallion.

A partir daí, você adquirirá habilidades práticas para importar dados de forma eficiente do armazenamento de objetos em nuvem usando conectores padrão do Lakeflow Connect com métodos como CREATE TABLE AS (CTAS), COPY INTO e Auto Loader, juntamente com os benefícios e considerações de cada abordagem. Em seguida, você aprenderá como anexar colunas de metadados às suas tabelas de nível bronze durante a ingestão na plataforma de inteligência de dados Databricks. Em seguida, você trabalhará com a coluna de dados resgatados, que lida com registros que não correspondem ao esquema da sua tabela bronze, incluindo estratégias para gerenciar esses dados resgatados.

O curso também apresenta técnicas para ingestão e achatamento de dados JSON semiestruturados, bem como ingestão de dados de nível empresarial usando conectores gerenciados do Lakeflow Connect.

Por fim, os alunos explorarão estratégias alternativas de ingestão, incluindo operações MERGE INTO e aproveitando o Databricks Marketplace, equipando-os com conhecimentos básicos para dar suporte à ingestão de engenharia de dados moderna.

2. Deploy Workloads with Lakeflow Jobs

O curso Implante cargas de trabalho com Lakeflow Jobs ensina como orquestrar e automatizar fluxos de trabalho de dados, análises e IA usando Lakeflow Jobs. Você aprenderá a criar pipelines robustos e prontos para produção com agendamento flexível, orquestração avançada e práticas recomendadas para confiabilidade e eficiência, tudo integrado nativamente à plataforma de inteligência de dados Databricks. É recomendável ter experiência prévia com Databricks, Python e SQL.

3. Build Data Pipelines with Lakeflow Declarative Pipelines

Este curso apresenta aos usuários os conceitos e habilidades essenciais necessários para criar pipelines de dados usando Lakeflow Spark Declarative Pipelines em Databricks para ingestão e processamento incrementais em lote ou transmissão por meio de várias streaming tables e materialized views. Projetado para engenheiros de dados novos em Spark Declarative Pipelines, o curso fornece uma visão geral abrangente dos principais componentes, como processamento incremental de dados, streaming tables, materialized views e views temporárias, destacando suas finalidades e diferenças específicas.

Os tópicos abordados incluem:

- Desenvolvimento e depuração de pipelines ETL com o editor de vários arquivos no Lakeflow usando SQL (com exemplos de código Python fornecidos)

- Como os Lakeflow Spark Declarative Pipelines acompanham dependências de dados em um pipeline através do gráfico de pipeline

- Configuração de recursos de compute do pipeline, ativos de dados, modos de gatilho e outras opções avançadas.

 Em seguida, o curso apresenta as expectativas de qualidade de dados no Spark Declarative Pipelines, orientando os usuários pelo processo de integração de expectativas em pipelines para validar e impor a integridade dos dados. Em seguida, os alunos explorarão como colocar um pipeline em produção, incluindo opções de agendamento, modo de produção e habilitação do log de eventos do pipeline para monitorar o desempenho e a integridade do pipeline.

 Finalmente, o curso aborda como implementar a captura de dados de alterações (CDC) usando a sintaxe AUTO CDC INTO dentro dos Spark Declarative Pipelines para gerenciar dimensões que mudam lentamente (SCD Tipo 1 e Tipo 2), preparando os usuários para integrar CDC em seus próprios pipelines.

4. Essenciais de DevOps para Engenharia de Dados

Este curso explora as melhores práticas de engenharia de software e os princípios de DevOps, projetados especificamente para engenheiros de dados que trabalham com Databricks. Os participantes construirão uma base sólida em tópicos-chave, como qualidade de código, controle de versão, documentação e testes. O curso enfatiza o DevOps, abordando os principais componentes, os benefícios e o papel da continuous integration e delivery (CI/CD) na otimização dos fluxos de trabalho de engenharia de dados.

Você aprenderá a aplicar princípios de modularidade no PySpark para criar componentes reutilizáveis e estruturar código de forma eficiente. A experiência prática inclui o projeto e a implementação de testes unitários para funções do PySpark usando a estrutura pytest, seguidos por testes de integração para pipelines de dados Databricks com DLT (Delta Live Tables) e fluxos de trabalho para garantir a confiabilidade.

O curso também aborda operações essenciais do Git no Databricks, incluindo o uso de pastas Git do Databricks para integrar práticas de integração contínua. Por fim, você examinará de alto nível vários métodos de implantação de ativos do Databricks, como REST API, CLI, SDK e DABs (Databricks Asset Bundles), fornecendo o conhecimento de técnicas para implantar e gerenciar seus pipelines.

Ao final do curso, você será proficiente em software engineering e práticas recomendadas de DevOps, permitindo que você crie soluções de engenharia de dados escaláveis, sustentáveis e eficientes.

Languages Available: English | 日本語 | Português BR | 한국어 | Español | française

Este curso serve como um ponto de entrada apropriado para aprender Engenharia de Dados Avançada com Databricks. Abaixo, descreveremos cada um dos quatro módulos de quatro horas incluídos neste curso.

Databricks Streaming and Lakeflow Spark Declarative Pipelines

Este curso oferece uma compreensão abrangente do Spark Structured Streaming e do Delta Lake, incluindo modelos de compute, configuração para leitura de dados em tempo real e manutenção da qualidade dos dados num ambiente de transmissão.

Databricks Data Privacy

Este conteúdo oferece um guia completo para a gestão da privacidade de dados no Databricks. Aborda temas essenciais como a arquitetura do Delta Lake, o isolamento regional de dados, a compliance com o RGPD/CCPA e a utilização do Change Data Feed (CDF). Através de demonstrações práticas e laboratórios interativos, os participantes aprendem a utilizar as funcionalidades do Unity Catalog para proteger dados confidenciais e garantir a compliance, capacitando-os para salvaguardar a integridade dos dados de forma eficaz.

Databricks Performance Optimization

Neste curso, aprenderá como otimizar as cargas de trabalho e o layout físico com o Spark e o Delta Lake, bem como analisar a interface do utilizador do Spark para avaliar o desempenho e depurar aplicações. Abordaremos temas como transmissão, net clustering, data skipping, cache, photons e muito mais.

Automated Deployment with Databricks Asset Bundles

Este curso oferece uma revisão abrangente dos princípios de DevOps e sua aplicação em projetos Databricks. Ele começa com uma visão geral dos principais conceitos de DevOps, DataOps, continuous integration (CI), continuous deployment (CD) e testes, e explora como esses princípios podem ser aplicados a pipelines de engenharia de dados.

Em seguida, o curso se concentra na continuous deployment dentro do processo de CI/CD, examinando ferramentas como a Databricks REST API, o SDK e a CLI para a implantação de projetos. Você aprenderá sobre os Databricks Asset Bundles (DABs) e como eles se encaixam no processo de CI/CD. Você se aprofundará em seus principais componentes, estrutura de pastas e como eles otimizam a implantação em vários ambientes de destino na Databricks. Você também aprenderá como adicionar variáveis, modificar, validar, implantar e executar Databricks Asset Bundles para vários ambientes com diferentes configurações usando a Databricks CLI.

Por fim, o curso apresenta o Visual Studio Code como um Interactive Development Environment (IDE) para criar, testar e implantar Databricks Asset Bundles localmente, otimizando seu processo de desenvolvimento. O curso conclui com uma introdução à automação de pipelines de implantação usando o GitHub Actions para aprimorar o fluxo de trabalho de CI/CD com Databricks Asset Bundles.

Ao final deste curso, você estará apto a automatizar implantações de projetos Databricks com Databricks Asset Bundles, melhorando a eficiência por meio de práticas de DevOps.

Languages Available: English | 日本語 | Português BR | 한국어