Agent Evaluation on Databricks

In this course, you will learn how to design, implement, and govern catalog structures and large-scale data organization with Unity Catalog on the Databricks Data and AI Platform. Divided into five modules, it begins by placing Unity Catalog within the cloud deployment model, covering the account console, regional metastores, and the administrator roles that enable it. You will then translate organizational topology (business units, regions, and dev/QA/prod environments) into a scalable catalog and schema design with naming conventions, ownership, and MANAGE delegation. Next, the course covers secure storage integration with storage credentials, external locations, the managed-storage hierarchy, managed versus external tables, volumes, and Lakehouse Federation. You will then apply access patterns and isolation strategies, including workspace-catalog binding, privilege inheritance, row filters, column masks, and attribute-based access control (ABAC) policies, and validate the outcomes with audit signals. Finally, the course closes with best practices for designing, governing, and operating a Unity Catalog estate. The hands-on demos and labs run on serverless compute and include short Genie Code steps.

Note: For SCORM lecture files, please ensure that you close the SCORM window after completing the content. Do not click the ‘Next Lesson’ button, as doing so may prevent the SCORM module from being marked as complete.

Unity Gateway 将 Unity Catalog 的治理能力延伸至 AI 流量。Unity Catalog 已将您的模型、MCP 服务、函数和连接作为可保护对象进行治理；Unity Gateway 在此基础上，针对流向这些对象的流量新增了一个集中式 Control Plane，对每条请求和响应强制执行路由规则、速率限制、预算管控、使用量追踪以及**服务策略**（防护栏）。

本实验室先通过简短的讲座介绍基础知识，再通过动手演示加以实践。在演示中，您将治理一个真实的智能体应用——该应用可将 Databricks 原生架构图生成为代码——通过将其路由至 Unity Gateway 并逐步强化治理：创建模型服务、授予权限、添加推理表、设置速率限制、配置幻觉防护栏策略、在 Claude 模型之间进行流量分割，以及配置 fallback 路由。最后，您将浏览 `system.ai` 和 `system.ai_gateway` 模式，了解遥测与可观测性如何与载荷级推理日志记录相互补充。

完成本实验室后，您将理解资产治理、流量治理和行为治理如何整合为一个统一的 AI Control Plane，以及如何将这些控制措施应用于 Databricks 上生产级别的生成式 AI 应用。

注意：对于 SCORM 课程文件，请在完成学习内容后关闭 SCORM 窗口。请勿点击“下一课”按钮，否则 SCORM 模块可能无法标记为已完成。

本课程探讨 Databricks 的 Apache Spark Declarative Pipelines（SDP），用于构建生产级流式处理管道。您将学习高级设计模式、严格的数据质量管控以及跨平台集成——这些都是现实世界湖仓工程不可或缺的能力。

在整个课程中，您将深入了解现代数据采集与处理技术，掌握 Liquid Clustering 等布局优化工具以及用于混合 schema 事件的多路复用流式处理模式。完成所有模块后，您将能够自信地处理 schema演进、自动化变更数据捕获（CDC）并确保数据完整性。

注意：

本课程是 ‘Advanced Data Engineering with Databricks’ 系列的第一门课程。对于 SCORM 讲座文件，请确保在完成内容后关闭 SCORM 窗口。请勿点击‘Next Lesson’按钮，否则 SCORM 模块可能无法标记为已完成。