Agent Evaluation on Databricks - French
Ce cours apprend aux étudiants à évaluer systématiquement les agents IA à l’aide du cadre d’évaluation de MLflow, en répondant aux défis propres aux systèmes d’IA non déterministes que les tests logiciels traditionnels ne peuvent pas gérer. Les étudiants apprennent à mettre en œuvre différentes approches d’évaluation, notamment des juges intégrés pour des critères courants tels que l’exactitude et la sécurité, des juges de directives pour des exigences propres à l’entreprise, et des juges personnalisés pour des besoins spécialisés. Le cours couvre à la fois l’évaluation hors ligne à partir d’ensembles de données organisés et le monitoring en ligne en production, avec une expérience pratique des capacités de traçage de MLflow pour comprendre les schémas d’exécution des agents et recueillir les retours humains de différents types de parties prenantes. À travers des démonstrations pratiques et des laboratoires, les étudiants développent des compétences pour créer des workflows d’évaluation qui favorisent l’amélioration continue de la qualité tout au long du cycle de vie de développement des agents IA.
Remarque : Databricks Academy passe à un format basé sur des notebooks pour les sessions en classe dans l’environnement Databricks, et n’utilise plus de diaporamas pour les cours. Vous pouvez accéder aux notebooks de cours dans l’environnement de laboratoire Vocareum.
• Expérience intermédiaire de la programmation Python
• Connaissances de base en SQL pour interroger et créer des fonctions
• Familiarité avec la Plateforme d’intelligence des données de Databricks
• Compréhension des concepts d’Unity Catalog, y compris les catalogues et les schémas
• Compréhension de base des grands modèles de langage (LLM) et de l’ingénierie des invites
• Connaissances de base de MLflow
Outline
1. Principes fondamentaux de l’évaluation des agents IA
• Le défi de l’évaluation des agents IA
• Démo : configuration de l’agent
• Le cadre d’évaluation de MLflow
2. Principes fondamentaux de l’évaluation des agents IA
• Juges intégrés
• Démo : utilisation des juges intégrés de MLflow
• Juges basés sur des directives
• Démo : juges basés sur des directives avec MLflow
• Juges personnalisés et retours
• Démo : juges personnalisés avec MLflow
• Laboratoire : application de l’évaluation des agents
3. Juges personnalisés et retours humains
• Stratégies d’évaluation hors ligne et en ligne
• Laboratoire : retours des développeurs et des SME avec MLflow
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Inscrivez-vous maintenant
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Inscrivez-vous maintenant
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
