Omnigent Basics

本课程教授学生如何使用 MLflow 的评估框架系统地评估 AI 智能体，以应对传统软件测试无法处理的非确定性 AI 系统所带来的独特挑战。学生将学习实施多种评估方法，包括针对正确性和安全性等常见标准的内置评判器、针对业务特定需求的准则评判器，以及针对专项需求的自定义评判器。课程涵盖使用精选数据集进行离线评估，以及在线生产监控，并通过使用 MLflow 追踪功能的实践操作，帮助学生了解智能体执行模式并收集来自不同利益相关方的人工反馈。通过实践演示和实验，学生将掌握创建评估 Workflows 的技能，从而在 AI 智能体开发生命周期中持续推动质量提升。

注意：对于 SCORM 讲授文件，请确保在完成内容后关闭 SCORM 窗口。请勿点击“Next Lesson”按钮，否则可能导致 SCORM 模块无法被标记为已完成。

本综合课程提供了一份在 Databricks 上开发传统机器学习模型的实用指南，重点介绍使用主流 ML 库进行实践演示和工作流程。学员将浏览关键 ML 技术，包括回归和集群化，同时充分利用 Databricks 的强大功能。课程涵盖用于模型追踪的 MLflow 集成、用于功能管理的 Databricks 特征存储，以及用于超参数调优的 Optuna。此外，学员还将学习如何借助 Genie Code 加速模型开发——这是 Databricks 的 AI 驱动编程助手，利用自然语言、MCP 连接、指令和技能来指南完整的 ML 生命周期。课程结束时，学员将具备在 Databricks 环境中高效开发、优化和部署机器学习模型的实际应用技能。

注意：1. 这是 'Machine Learning with Databricks' 系列课程中的第二门课程。2. 对于 SCORM 课程文件，请确保完成内容后关闭 SCORM 窗口。请勿点击 ‘Next Lesson’ 按钮，否则可能导致 SCORM 模块无法标记为已完成。

本课程涵盖在 Databricks 上部署和监控生成式 AI 智能体的端到端生命周期。学员将学习如何使用 Declarative Automation Bundles（DABs）将智能体部署为 Databricks Apps，通过模型上下文协议（MCP）集成工具，使用 MLflow Tracing 对智能体进行埋点，以及使用评分器、多轮评判器和在线评估来评估生产质量。通过动手演示和实验，学员将获得在 Databricks 平台上构建、观测和监控生产级 AI 智能体的实践经验。

注意：对于 SCORM 讲授文件，请确保在完成内容后关闭 SCORM 窗口。请勿点击“Next Lesson”按钮，否则可能导致 SCORM 模块无法被标记为已完成。