Ir para o conteúdo principal

Agent Evaluation on Databricks - Portuguese BR

Este curso ensina os alunos a avaliar sistematicamente os agentes de IA usando a framework de avaliação do MLflow, abordando os desafios exclusivos dos sistemas de IA não determinísticos que os testes de software tradicionais não conseguem lidar. Os alunos aprendem a implementar várias abordagens de avaliação, incluindo judges integrados para critérios comuns, como correção e segurança, guideline judges para requisitos específicos de negócios e judges personalizados para necessidades especializadas. O curso abrange avaliação off-line usando datasets selecionados e monitoramento de produção on-line, com experiência prática usando as capacidades de MLflow tracing para entender os padrões de execução do agente e coletar feedback humano de diferentes tipos de partes interessadas. Por meio de demonstrações práticas e laboratórios, os alunos desenvolvem habilidades na criação de fluxos de trabalho de avaliação que impulsionam melhorias contínuas de qualidade em todo o ciclo de vida de desenvolvimento de AI agent.


Observação: A Databricks Academy está a migrar para um formato baseado em notebooks para as aulas dentro do ambiente Databricks, descontinuando o uso de diapositivos nas aulas. Pode aceder aos notebooks das aulas no ambiente de laboratório Vocareum.


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Associate
Duration
4h
Prerequisites

O conteúdo foi desenvolvido para os participantes com as seguintes competências/conhecimentos/habilidades: 

• Experiência intermediária em programação Python

• Conhecimento básico de SQL para query e criação de funções

• Familiaridade com a Databricks Data Intelligence Platform

• Compreensão dos conceitos do Unity Catalog, incluindo catálogos e esquemas

• Compreensão básica de large language models (LLMs) e engenharia de prompts

• Conhecimento básico de MLflow

Outline

Fundamentos de avaliação de AI Agent 

• O desafio de Avaliando AI Agents

• Configuração do agente

• Avaliação do MLflow Framework

Judges integrados e de diretriz

• Tipos de Avaliação Juízes

• Usando os Judges Integrados do MLflow

• Guideline Judges  com o MLflow

• Aplicando Avaliação de Agente

• Judges personalizados com MLflow

Judges personalizados e feedback humano

• Estratégias de Avaliação Offline vs. Online

• Práticas recomendadas e Aplicação Prática

• Desenvolvedor e Feedback do especialista com o MLflow

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Advanced Techniques with Spark Declarative Pipelines - Portuguese BR

Este curso explora os Spark Declarative Pipelines (SDP) da Databricks Lakeflow para a construção de pipelines de transmissão de nível de produção. Aprenderá padrões de design avançados, aplicação robusta da qualidade de dados e integração multiplataforma, essenciais para a engenharia de lakehouses no mundo real.

Ao longo do curso, irá aprofundar técnicas modernas de ingestão e processamento de dados, dominando ferramentas como o Liquid Clustering para otimização de layout e o padrão Multiplex Streaming para eventos com esquemas mistos. No final dos módulos, saberá como lidar com confiança com a evolução de esquemas, automatizar a Change Data Capture (CDC) e garantir a integridade dos dados.

Através de aulas teóricas e demonstrações práticas, irá:

• Construir pipelines de múltiplos fluxos para ingerir dados de múltiplas fontes numa tabela Bronze unificada.

• Aplicar o algoritmo Liquid Clustering e as Expectativas de Qualidade de Dados nas camadas Prata e Ouro.

• Implementar o padrão Multiplex com Iceberg UniForm para acesso a dados multiplataforma.

• Automatizar o seguimento do histórico de SCD Tipo 2 utilizando o AUTO CDC INTO.

• Conceber pipelines de quarentena sem perda de dados para auditar e gerir registros inválidos.

Observação: A Databricks Academy está a migrar para um formato baseado em notebooks para as aulas dentro do ambiente Databricks, descontinuando o uso de diapositivos nas aulas. Pode aceder aos notebooks das aulas no ambiente de laboratório Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어

Paid
4h
Lab
instructor-led
Professional

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.