Ir para o conteúdo principal

Agent Evaluation on Databricks - Portuguese BR

Este curso ensina os alunos a avaliar sistematicamente os agentes de IA usando a framework de avaliação do MLflow, abordando os desafios exclusivos dos sistemas de IA não determinísticos que os testes de software tradicionais não conseguem lidar. Os alunos aprendem a implementar várias abordagens de avaliação, incluindo judges integrados para critérios comuns, como correção e segurança, guideline judges para requisitos específicos de negócios e judges personalizados para necessidades especializadas. O curso abrange avaliação off-line usando datasets selecionados e monitoramento de produção on-line, com experiência prática usando as capacidades de MLflow tracing para entender os padrões de execução do agente e coletar feedback humano de diferentes tipos de partes interessadas. Por meio de demonstrações práticas e laboratórios, os alunos desenvolvem habilidades na criação de fluxos de trabalho de avaliação que impulsionam melhorias contínuas de qualidade em todo o ciclo de vida de desenvolvimento de AI agent.


Observação: A Databricks Academy está a migrar para um formato baseado em notebooks para as aulas dentro do ambiente Databricks, descontinuando o uso de diapositivos nas aulas. Pode aceder aos notebooks das aulas no ambiente de laboratório Vocareum.


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Associate
Duration
4h
Prerequisites

O conteúdo foi desenvolvido para os participantes com as seguintes competências/conhecimentos/habilidades: 

• Experiência intermediária em programação Python

• Conhecimento básico de SQL para query e criação de funções

• Familiaridade com a Databricks Data Intelligence Platform

• Compreensão dos conceitos do Unity Catalog, incluindo catálogos e esquemas

• Compreensão básica de large language models (LLMs) e engenharia de prompts

• Conhecimento básico de MLflow

Outline

Fundamentos de avaliação de AI Agent 

• O desafio de Avaliando AI Agents

• Configuração do agente

• Avaliação do MLflow Framework

Judges integrados e de diretriz

• Tipos de Avaliação Juízes

• Usando os Judges Integrados do MLflow

• Guideline Judges  com o MLflow

• Aplicando Avaliação de Agente

• Judges personalizados com MLflow

Judges personalizados e feedback humano

• Estratégias de Avaliação Offline vs. Online

• Práticas recomendadas e Aplicação Prática

• Desenvolvedor e Feedback do especialista com o MLflow

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Machine Learning Practitioner

Machine Learning with Databricks - Portuguese BR

Bem-vindo ao Machine Learning com Databricks!

Este curso é a sua porta de entrada para dominar os machine learning workflows em Databricks. Mergulhe na preparação de dados, desenvolvimento de modelos, implementação e operações, orientado por instrutores especializados. Aprenda competências essenciais para exploração de dados, treino de modelos e estratégias de implementação adaptadas para Databricks. No final do curso, terá o conhecimento e a confiança para navegar por todo o ciclo de vida do machine learning na plataforma Databricks, capacitando-o a construir e implementar soluções robustas de machine learning de forma eficiente.

 

Preparação de Dados para Machine Learning

Este curso foca-se nos fundamentos da preparação de dados para machine learning utilizando Databricks. Os participantes irão aprender competências essenciais para explorar, limpar e organizar dados adaptadas a aplicações tradicionais de machine learning. Os tópicos-chave incluem visualização de dados, engenharia de recursos e estratégias ótimas de armazenamento de recursos. Através de exercícios práticos, os participantes ganharão experiência prática na preparação eficiente de datasets para machine learning dentro de Databricks. Este curso é concebido para cientistas de dados de nível associado e profissionais de machine learning e indivíduos que procuram melhorar a sua proficiência na preparação de dados, garantindo uma base sólida para a implementação bem-sucedida de modelos de machine learning.

 

Desenvolvimento de Modelos de Machine Learning

Este curso abrangente fornece um guia prático para desenvolver modelos tradicionais de aprendizagem automática em Databricks, enfatizando demonstrações práticas e fluxos de trabalho usando bibliotecas populares de ML. Os participantes irão explorar técnicas-chave de ML, incluindo regressão e clustering, aproveitando as poderosas capacidades do Databricks. O curso aborda integração com MLflow para rastreamento de modelos, Databricks Feature Store para gestão de funcionalidades e Optuna para afinação de hiperparâmetros. Além disso, os participantes aprenderão como acelerar o treino de modelos com Databricks AutoML. No final do curso, os alunos terão competências práticas e práticas para desenvolver, otimizar e implementar modelos de aprendizagem automática de forma eficiente no ambiente Databricks.

 

Implementação de Modelos de Machine Learning

Este curso foi concebido para apresentar três estratégias principais de implementação de machine learning e ilustrar a implementação de cada estratégia em Databricks. Após uma exploração dos fundamentos da implementação de modelos, o curso aprofunda a inferência em lote, oferecendo demonstrações práticas e laboratórios para utilizar um modelo em cenários de inferência em lote, juntamente com considerações para otimização de desempenho. A segunda parte do curso cobre de forma abrangente a implementação de pipelines, enquanto o segmento final foca-se na implementação em tempo real. Os participantes participarão em demonstrações práticas e laboratórios, implementando modelos com Model Serving e utilizando o Model Serving para inferência em tempo real.

 

Operações de Machine Learning

Este curso irá guiar os participantes numa exploração abrangente das operações de modelos de machine learning, com foco no MLOps e na gestão do ciclo de vida dos modelos. O segmento inicial cobre componentes essenciais do MLOps e as melhores práticas, proporcionando aos participantes uma base sólida para operacionalizar eficazmente modelos de machine learning. Na parte final do curso, iremos aprofundar os fundamentos do ciclo de vida do modelo, demonstrando como navegar nele de forma fluida usando o Model Registry em conjunto com o Unity Catalog para uma gestão eficiente dos modelos. No final do curso, os participantes terão adquirido conhecimentos práticos e uma compreensão completa dos princípios do MLOps, equipados com as competências necessárias para navegar no complexo panorama das operações de modelos de machine learning.

Languages Available: English | 日本語 | Português BR | 한국어

Paid
16h
Lab
instructor-led
Associate
Data Analyst

Data Analysis with Databricks - Portuguese BR

Este curso fornece uma introdução abrangente ao Databricks SQL. Os alunos irão ingerir dados, escrever queries, produzir visualizações e painéis e configurar alertas. Este curso irá prepará-lo para fazer o exame Analista Associado de Dados, Certificado da Databricks. Este curso é composto por dois módulos de quatro horas.

 

SQL Analytics on Databricks

Neste curso, você aprenderá a usar efetivamente a Databricks para análise de dados, com foco específico no Databricks SQL. Como Analista de Dados da Databricks, suas responsabilidades incluirão encontrar dados relevantes, analisá-los para possíveis aplicações e transformá-los em formatos que forneçam percepções de negócios valiosos. 

Você também entenderá sua função no gerenciamento de objetos de dados e como manipulá-los na Databricks Data Intelligence Platform, usando ferramentas como Notebooks, Editor SQL e Databricks SQL. 

Além disso, você aprenderá sobre a importância do Unity Catalog no gerenciamento de ativos de dados e da plataforma como um todo. Por fim, o curso fornecerá uma visão geral de como o Databricks facilita a otimização de desempenho e ensinará como acessar percepções de query para entender os processos que ocorrem nos bastidores ao executar a analítica SQL no Databricks.

AI/BI for Data Analysts

Neste curso, você aprenderá a usar os recursos que o Databricks fornece para as necessidades de business intelligence: Painéis de IA/BI e AI/BI Genie. Como Analista de Dados da Databricks, você terá a tarefa de criar Painéis de IA/BI e AI/BI Genie Spaces dentro da plataforma, gerenciar o acesso a esses ativos pelas partes interessadas e necessárias e manter esses ativos à medida que são editados, atualizados ou desativados ao longo de sua vida útil. Este curso pretende instruir os participantes sobre como projetar painéis para percepções de negócios, compartilhá-los com colaboradores e partes interessadas e manter esses ativos dentro da plataforma. Os participantes também aprenderão a utilizar os AI/BI Genie Spaces para dar suporte à análise de autoatendimento por meio da criação e manutenção desses ambientes alimentados pelo Databricks Data Intelligence Engine.

Languages Available: English | 日本語 | Português BR | 한국어

Paid
8h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.