Advanced Data Engineering with Databricks - Portuguese BR

Este curso apresenta aos usuários os conceitos e habilidades essenciais necessários para criar pipelines de dados usando Lakeflow Spark Declarative Pipelines em Databricks para ingestão e processamento incrementais em lote ou transmissão por meio de várias streaming tables e materialized views. Projetado para engenheiros de dados novos em Spark Declarative Pipelines, o curso fornece uma visão geral abrangente dos principais componentes, como processamento incremental de dados, streaming tables, materialized views e views temporárias, destacando suas finalidades e diferenças específicas.

Os tópicos abordados incluem:

- Desenvolvimento e depuração de pipelines ETL com o editor de vários arquivos no Lakeflow usando SQL (com exemplos de código Python fornecidos)

- Como os Lakeflow Spark Declarative Pipelines acompanham dependências de dados em um pipeline através do gráfico de pipeline

- Configuração de recursos de compute do pipeline, ativos de dados, modos de gatilho e outras opções avançadas.

 Em seguida, o curso apresenta as expectativas de qualidade de dados no Spark Declarative Pipelines, orientando os usuários pelo processo de integração de expectativas em pipelines para validar e impor a integridade dos dados. Em seguida, os alunos explorarão como colocar um pipeline em produção, incluindo opções de agendamento, modo de produção e habilitação do log de eventos do pipeline para monitorar o desempenho e a integridade do pipeline.

 Finalmente, o curso aborda como implementar a captura de dados de alterações (CDC) usando a sintaxe AUTO CDC INTO dentro dos Spark Declarative Pipelines para gerenciar dimensões que mudam lentamente (SCD Tipo 1 e Tipo 2), preparando os usuários para integrar CDC em seus próprios pipelines.

Languages Available: English | 日本語 | Português BR | 한국어

O curso Implante cargas de trabalho com Lakeflow Jobs ensina como orquestrar e automatizar fluxos de trabalho de dados, análises e IA usando o Lakeflow Jobs como uma plataforma de orquestração unificada dentro do ecossistema Databricks. 

⇾ Você aprenderá a projetar e implementar cargas de trabalho de dados usando gráficos acíclicos direcionados (DAGs), configurar várias opções de agendamento e implementar recursos avançados de fluxo de trabalho, como execução condicional de tarefas, dependências run-if e loops for each. 

⇾ O curso aborda as melhores práticas para criar pipelines robustos e prontos para produção com seleção adequada de computação, orquestração modular, técnicas de tratamento de erros e design tolerante a falhas, tudo integrado nativamente à plataforma de inteligência de dados Databricks.

Languages Available: English | 日本語 | Português BR | 한국어 | Español | française

Este curso é destinado a cientistas de dados, engenheiros de aprendizado de máquina e outros profissionais de dados que desejam criar aplicativos de IA generativa usando as estruturas mais recentes e populares e os recursos do Databricks. 

A seguir, descrevemos cada um dos quatro módulos de quatro horas incluídos neste curso.

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, descontinuando o uso de apresentações de slides nas Os três primeiros módulos. Você pode acessar os cadernos das aulas no ambiente de laboratório Vocareum.

Building Retrieval Agents On Databricks: Este curso oferece formação prática para a criação de agentes de recuperação na Databricks Data Intelligence Platform. Os participantes aprenderão a analisar documentos não estruturados e a convertê-los em dados estruturados, a transformar e segmentar conteúdo para workflows de recuperação, a criar soluções de vector search para recuperação de documentos e a desenvolver agentes prontos para produção utilizando MLflow e Agent Bricks. O curso abrange todo o ciclo de vida do agente, desde o processamento de documentos até à geração de incorporações, vector indexing e implantação do agente com capacidades de governação.

Building Single-Agent Applications on Databricks: Este curso oferece formação prática para a criação de aplicações de agente único na Databricks Data Intelligence Platform. Os alunos aprenderão a criar AI Agents que utilizam as funções do Unity Catalog como ferramentas, a implementar um rastreio e monitorização abrangentes com o MLflow e a implementar agentes utilizando frameworks tradicionais como o LangChain e soluções modernas como o Agent Bricks. O curso abrange todo o ciclo de vida do agente, desde a criação e teste iniciais da ferramenta no AI Playground até à implementação em produção, com recursos de governação, avaliação e melhoria contínua.

Agent Evaluation on Databricks

Este curso ensina os alunos a avaliar sistematicamente os agentes de IA usando a framework de avaliação do MLflow, abordando os desafios exclusivos dos sistemas de IA não determinísticos que os testes de software tradicionais não conseguem lidar. Os alunos aprendem a implementar várias abordagens de avaliação, incluindo judges integrados para critérios comuns, como correção e segurança, guideline judges para requisitos específicos de negócios e judges personalizados para necessidades especializadas. O curso abrange avaliação off-line usando datasets selecionados e monitoramento de produção on-line, com experiência prática usando as capacidades de MLflow tracing para entender os padrões de execução do agente e coletar feedback humano de diferentes tipos de partes interessadas. Por meio de demonstrações práticas e laboratórios, os alunos desenvolvem habilidades na criação de fluxos de trabalho de avaliação que impulsionam melhorias contínuas de qualidade em todo o ciclo de vida de desenvolvimento de AI agent.

Generative AI Application Deployment and Monitoring: Pronto para aprender a implantar, operacionalizar e monitorar aplicativos de IA generativa? Este módulo o ajudará a adquirir habilidades na implantação de aplicativos de IA generativa usando ferramentas como o Model Serving. Também abordaremos como operacionalizar aplicativos de IA generativa seguindo as práticas recomendadas e as arquiteturas recomendadas. Por fim, discutiremos a ideia de monitorar aplicativos de IA generativa e seus componentes usando o Lakehouse Monitoring.

Languages Available: English | 日本語 | Português BR | 한국어