Ir para o conteúdo principal

Agent Evaluation on Databricks - Portuguese BR

Este curso ensina os alunos a avaliar sistematicamente os agentes de IA usando a framework de avaliação do MLflow, abordando os desafios exclusivos dos sistemas de IA não determinísticos que os testes de software tradicionais não conseguem lidar. Os alunos aprendem a implementar várias abordagens de avaliação, incluindo judges integrados para critérios comuns, como correção e segurança, guideline judges para requisitos específicos de negócios e judges personalizados para necessidades especializadas. O curso abrange avaliação off-line usando datasets selecionados e monitoramento de produção on-line, com experiência prática usando as capacidades de MLflow tracing para entender os padrões de execução do agente e coletar feedback humano de diferentes tipos de partes interessadas. Por meio de demonstrações práticas e laboratórios, os alunos desenvolvem habilidades na criação de fluxos de trabalho de avaliação que impulsionam melhorias contínuas de qualidade em todo o ciclo de vida de desenvolvimento de AI agent.


Observação: A Databricks Academy está a migrar para um formato baseado em notebooks para as aulas dentro do ambiente Databricks, descontinuando o uso de diapositivos nas aulas. Pode aceder aos notebooks das aulas no ambiente de laboratório Vocareum.


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Associate
Duration
4h
Prerequisites

O conteúdo foi desenvolvido para os participantes com as seguintes competências/conhecimentos/habilidades: 

• Experiência intermediária em programação Python

• Conhecimento básico de SQL para query e criação de funções

• Familiaridade com a Databricks Data Intelligence Platform

• Compreensão dos conceitos do Unity Catalog, incluindo catálogos e esquemas

• Compreensão básica de large language models (LLMs) e engenharia de prompts

• Conhecimento básico de MLflow

Outline

Fundamentos de avaliação de AI Agent 

• O desafio de Avaliando AI Agents

• Configuração do agente

• Avaliação do MLflow Framework


Judges integrados e de diretriz

• Tipos de Avaliação Juízes

• Usando os Judges Integrados do MLflow

• Guideline Judges  com o MLflow

• Aplicando Avaliação de Agente

• Judges personalizados com MLflow


Judges personalizados e feedback humano

• Estratégias de Avaliação Offline vs. Online

• Práticas recomendadas e Aplicação Prática

• Desenvolvedor e Feedback do especialista com o MLflow

Upcoming Public Classes

Date
Time
Your Local Time
Language
Price
Nov 17
09 AM - 01 PM (America/Sao_Paulo)
-
Portuguese - BR
$750.00
Jan 12
09 AM - 01 PM (America/Sao_Paulo)
-
Portuguese - BR
$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Advanced Machine Learning with Databricks - Portuguese BR

Este curso é destinado a cientistas de dados e profissionais de machine learning e é composto por dois módulos de quatro horas.

Machine Learning at Scale

Neste curso, você adquirirá conhecimento teórico e prático sobre a arquitetura do Apache Spark e sua aplicação em cargas de trabalho de machine learning no Databricks. Você aprenderá quando usar o Spark para preparação de dados, treinamento de modelos e implantação, além de obter experiência prática com Spark ML e APIs do Pandas no Spark. Este curso apresentará conceitos avançados, como ajuste de hiperparâmetros e escalabilidade do Optuna com Spark. Este curso utilizará recursos e conceitos introduzidos no curso associado, como MLflow e Unity Catalog, para empacotamento e governança abrangentes de modelos.

Advanced Machine Learning Operations

Neste curso, você receberá uma compreensão abrangente do ciclo de vida de machine learning e de MLOps, com ênfase nas melhores práticas para gerenciamento de dados e modelos, testes e arquiteturas escaláveis. O curso aborda os principais componentes de MLOps, incluindo CI/CD, gerenciamento de pipeline e separação de ambientes, ao mesmo tempo em que apresenta as ferramentas do Databricks para automação e gerenciamento de infraestrutura, como Declarative Automation Bundles (DABs), Lakeflow Jobs e Model Serving. Você aprenderá sobre monitoramento, métricas personalizadas, detecção de desvios, estratégias de implantação de modelos, testes A/B e os princípios de sistemas MLOps confiáveis, proporcionando uma visão holística da implementação e do gerenciamento de projetos de ML no Databricks.

Nota: A Databricks Academy está fazendo a transição para um formato baseado em notebooks para as sessões em sala de aula dentro do ambiente Databricks, descontinuando o uso de apresentações de slides para as aulas. Você pode acessar os notebooks de aula no ambiente de laboratório do Vocareum.

Paid
8h
Lab
instructor-led
Professional

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.