Agent Evaluation on Databricks - Portuguese BR

Este curso ensina os alunos a avaliar sistematicamente os agentes de IA usando a framework de avaliação do MLflow, abordando os desafios exclusivos dos sistemas de IA não determinísticos que os testes de software tradicionais não conseguem lidar. Os alunos aprendem a implementar várias abordagens de avaliação, incluindo judges integrados para critérios comuns, como correção e segurança, guideline judges para requisitos específicos de negócios e judges personalizados para necessidades especializadas. O curso abrange avaliação off-line usando datasets selecionados e monitoramento de produção on-line, com experiência prática usando as capacidades de MLflow tracing para entender os padrões de execução do agente e coletar feedback humano de diferentes tipos de partes interessadas. Por meio de demonstrações práticas e laboratórios, os alunos desenvolvem habilidades na criação de fluxos de trabalho de avaliação que impulsionam melhorias contínuas de qualidade em todo o ciclo de vida de desenvolvimento de AI agent.

Observação: A Databricks Academy está a migrar para um formato baseado em notebooks para as aulas dentro do ambiente Databricks, descontinuando o uso de diapositivos nas aulas. Pode aceder aos notebooks das aulas no ambiente de laboratório Vocareum.

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

Prerequisites

O conteúdo foi desenvolvido para os participantes com as seguintes competências/conhecimentos/habilidades:

• Experiência intermediária em programação Python

• Conhecimento básico de SQL para query e criação de funções

• Familiaridade com a Databricks Data Intelligence Platform

• Compreensão dos conceitos do Unity Catalog, incluindo catálogos e esquemas

• Compreensão básica de large language models (LLMs) e engenharia de prompts

• Conhecimento básico de MLflow

Outline

Fundamentos de avaliação de AI Agent

• O desafio de Avaliando AI Agents

• Configuração do agente

• Avaliação do MLflow Framework

Judges integrados e de diretriz

• Tipos de Avaliação Juízes

• Usando os Judges Integrados do MLflow

• Guideline Judges com o MLflow

• Aplicando Avaliação de Agente

• Judges personalizados com MLflow

Judges personalizados e feedback humano

• Estratégias de Avaliação Offline vs. Online

• Práticas recomendadas e Aplicação Prática

• Desenvolvedor e Feedback do especialista com o MLflow

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Catalog Management and Data Organization - Portuguese BR

Neste curso, você aprenderá como projetar, implementar e governar estruturas de catálogo e organização de dados em larga escala na Plataforma de Inteligência de Dados Databricks. Ele oferece uma visão abrangente do Unity Catalog como a camada de governança centralizada para um lakehouse empresarial. Dividido em cinco módulos, começa posicionando o Unity Catalog dentro do modelo de implantação em nuvem — cobrindo o Account Console, criação de metastore e a hierarquia de funções de administrador. Você então traduzirá topologia organizacional (unidades de negócios, regiões e ambientes dev/QA/prod) em um design escalável de catálogo e schema usando convenções de nomenclatura, padrões de propriedade e delegação MANAGE. O curso então cobre integração segura de armazenamento com credenciais de armazenamento, localizações externas, a hierarquia de armazenamento gerenciado, tabelas gerenciadas versus externas e UC Volumes para dados não-tabulares. Em seguida, você aplicará padrões de acesso e estratégias de isolamento — a cadeia GRANT de três níveis, vinculação workspace-catalog e políticas de Controle de Acesso Baseado em Atributos (ABAC) em nível de schema — para impor proteção de dados refinada em escala. Finalmente, o curso fecha com práticas recomendadas para design de catálogo, automação, permissões de menor privilégio e gerenciamento de acesso baseado em grupo.

Observação: a Databricks Academy está mudando para um formato baseado em cadernos para as aulas presenciais no ambiente Databricks, deixando de usar apresentações de slides para as palestras. Você pode acessar os cadernos das palestras no ambiente de laboratório Vocareum.

Building Reliable Conversational Agents with Genie - Portuguese BR

Este curso ensina como projetar, construir e manter um Genie Space do Databricks, uma interface de linguagem natural que permite que usuários de negócios façam perguntas sobre dados controlados e recebam respostas baseadas em SQL sem precisar escrever código.

Você aprenderá como o Genie se encaixa na família de produtos de IA/BI do Databricks e como ele traduz a linguagem natural em consultas SQL confiáveis. O curso se concentra no que é necessário para criar um Genie Space que forneça resultados precisos, consistentes e confiáveis.

Você seguirá um fluxo de trabalho completo, do início ao fim, desde a compreensão dos dados de origem e a definição de parâmetros de referência até a configuração e o aprimoramento de um Genie Space usando o conjunto completo de ferramentas de curadoria do Knowledge Store. Isso inclui metadados, sinônimos, correspondência de prompts, lógica SQL, consultas de exemplo e instruções de texto.

Você também aprenderá a compartilhar Genie Spaces com usuários de negócios por meio do Databricks One, compreenderá como a governança do Unity Catalog é aplicada automaticamente e utilizará o monitoramento e o feedback dos usuários para melhorar continuamente a qualidade ao longo do tempo.

Ao final do curso, você será capaz de criar e gerenciar um Genie Space pronto para produção que ofereça análises conversacionais em escala, governadas e no modelo de autoatendimento.

Lakebase App Integration and Management - Portuguese BR

Neste curso, você aprenderá a integrar o Databricks Apps ao Lakebase, a plataforma PostgreSQL totalmente gerenciada e nativa cloud do Databricks, para criar fluxos de trabalho de aplicativos seguros e prontos para uso empresarial. Com base no conhecimento fundamental sobre o Databricks Apps e o Lakebase, este curso foca nos fundamentos do PostgreSQL, no Lakebase Autoscaling, em práticas seguras de SQL, no gerenciamento seguro de conexões, no acesso baseado em funções, na integração da Data API e no desenvolvimento baseado em branches. Você também explorará como o AppKit pode acelerar o desenvolvimento de aplicativos dentro desse fluxo de trabalho, ajudando você a passar dos conceitos de integração para a implementação de forma mais eficiente.