Agent Evaluation on Databricks - Portuguese BR
Este curso ensina os alunos a avaliar sistematicamente agentes de IA usando o framework de avaliação do MLflow, abordando os desafios únicos de sistemas de IA não determinísticos que os testes tradicionais de software não conseguem lidar. Os alunos avaliam um agente compartilhado de chamada de ferramentas que está registrado no Unity Catalog e chama seus modelos por meio do Unity Gateway, usando juízes integrados para critérios comuns como correção e segurança, juízes de diretrizes para requisitos específicos do negócio e juízes personalizados para necessidades especializadas. O curso abrange tanto a avaliação offline usando conjuntos de dados selecionados quanto o monitoramento em produção online, incluindo o armazenamento de MLflow Traces no Unity Catalog. Os alunos usam o MLflow Tracing para entender os padrões de execução do agente e coletar feedback humano de desenvolvedores e de especialistas no assunto, que revisam o agente por meio de seu Databricks App. Por meio de demonstrações práticas e laboratórios, os alunos desenvolvem habilidades na criação de Workflows de avaliação que impulsionam melhorias contínuas de qualidade ao longo do ciclo de vida de desenvolvimento do agente de IA.
Observação: Para os ficheiros das aulas SCORM, por favor certifique-se de fechar a janela SCORM após concluir o conteúdo. Não clique no botão 'Next Lesson', pois isso pode impedir que o módulo SCORM seja marcado como completo.
Neste curso, o conteúdo foi desenvolvido para participantes com as seguintes habilidades/conhecimentos/competências:
• Experiência intermediária em programação Python
• Conhecimento básico de SQL para consultas e criação de funções
• Familiaridade com a Databricks Data Intelligence Platform
• Compreensão dos conceitos do Unity Catalog, incluindo catálogos e esquemas
• Compreensão básica de modelos de linguagem de grande escala (LLMs) e engenharia de prompts
• Conhecimento básico de MLflow
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Registre-se agora
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Registre-se agora
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
