Agent Evaluation on Databricks - Portuguese BR

Este curso ensina os alunos a avaliar sistematicamente os agentes de IA usando a framework de avaliação do MLflow, abordando os desafios exclusivos dos sistemas de IA não determinísticos que os testes de software tradicionais não conseguem lidar. Os alunos aprendem a implementar várias abordagens de avaliação, incluindo judges integrados para critérios comuns, como correção e segurança, guideline judges para requisitos específicos de negócios e judges personalizados para necessidades especializadas. O curso abrange avaliação off-line usando datasets selecionados e monitoramento de produção on-line, com experiência prática usando as capacidades de MLflow tracing para entender os padrões de execução do agente e coletar feedback humano de diferentes tipos de partes interessadas. Por meio de demonstrações práticas e laboratórios, os alunos desenvolvem habilidades na criação de fluxos de trabalho de avaliação que impulsionam melhorias contínuas de qualidade em todo o ciclo de vida de desenvolvimento de AI agent.

Observação: A Databricks Academy está a migrar para um formato baseado em notebooks para as aulas dentro do ambiente Databricks, descontinuando o uso de diapositivos nas aulas. Pode aceder aos notebooks das aulas no ambiente de laboratório Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

Prerequisites

O conteúdo foi desenvolvido para os participantes com as seguintes competências/conhecimentos/habilidades:

• Experiência intermediária em programação Python

• Conhecimento básico de SQL para query e criação de funções

• Familiaridade com a Databricks Data Intelligence Platform

• Compreensão dos conceitos do Unity Catalog, incluindo catálogos e esquemas

• Compreensão básica de large language models (LLMs) e engenharia de prompts

• Conhecimento básico de MLflow

Outline

Fundamentos de avaliação de AI Agent

• O desafio de Avaliando AI Agents

• Configuração do agente

• Avaliação do MLflow Framework

Judges integrados e de diretriz

• Tipos de Avaliação Juízes

• Usando os Judges Integrados do MLflow

• Guideline Judges com o MLflow

• Aplicando Avaliação de Agente

• Judges personalizados com MLflow

Judges personalizados e feedback humano

• Estratégias de Avaliação Offline vs. Online

• Práticas recomendadas e Aplicação Prática

• Desenvolvedor e Feedback do especialista com o MLflow

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Machine Learning Practitioner

Generative AI Application Deployment and Monitoring - Portuguese BR

O curso aborda detalhes sobre como implantar, operacionalizar e monitorar a implantação, a operacionalização e o monitoramento generativos de aplicativos de IA generativa. O curso ajudará você a adquirir habilidades na implantação de aplicativos de IA generativa usando ferramentas como o Model Serving. Ele também aborda como operacionalizar aplicativos de IA generativa seguindo as práticas e arquiteturas recomendadas. Finalmente, o curso discute a ideia de monitorar aplicativos de IA generativa e seus componentes usando o Lakehouse Monitoring.

Languages Available: English | 日本語 | Português BR | 한국어

Databricks Data Privacy - Portuguese BR

Este conteúdo oferece um guia completo para a gestão da privacidade de dados no Databricks. Aborda temas essenciais como a arquitetura do Delta Lake, o isolamento regional de dados, a compliance com o RGPD/CCPA e a utilização do Change Data Feed (CDF). Através de demonstrações práticas e laboratórios interativos, os participantes aprendem a utilizar as funcionalidades do Unity Catalog para proteger dados confidenciais e garantir a compliance, capacitando-os para salvaguardar a integridade dos dados de forma eficaz.

Languages Available: English | 日本語 | Português BR | 한국어

Machine Learning Practitioner

Building Retrieval Agents On Databricks - Portuguese BR

Este curso oferece formação prática para a criação de agentes de recuperação na Databricks Data Intelligence Platform. Os participantes aprenderão a analisar documentos não estruturados e a convertê-los em dados estruturados, a transformar e segmentar conteúdo para workflows de recuperação, a criar soluções de vector search para recuperação de documentos e a desenvolver agentes prontos para produção utilizando MLflow e Agent Bricks. O curso abrange todo o ciclo de vida do agente, desde o processamento de documentos até à geração de incorporações, vector indexing e implantação do agente com capacidades de governação.

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, deixando de usar apresentações de slides para as palestras. Você pode acessar os cadernos das palestras no ambiente de laboratório Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어