Agent Evaluation on Databricks - Mandarin Chinese

本内容提供了在 Databricks 中管理数据隐私的综合指南。涵盖的关键主题包括：Delta Lake 架构、区域数据隔离、GDPR/CCPA 合规以及 Change Data Feed（CDF）的使用。通过实际演示和动手实验，参与者将学习如何使用 Unity Catalog 功能来保护敏感数据并确保合规，从而有效维护数据完整性。

注意：

1. Databricks Academy 正在将所有自定进度课程从视频讲座转换为更精简的 PDF 格式，其中包含幻灯片和讲义。请注意，演示视频仍将以原始格式提供。我们非常希望了解您对这一变化的看法，因此请在课程结束时通过课程调查分享您的反馈。感谢您成为我们学习社区的一员！

2. 本课程是“Advanced Data Engineering with Databricks”系列中的第二门课程。

Languages Available: English | 日本語 | Português BR  | 한국어 | Français | Español | 普通话

本课程探讨 Databricks 的 Apache Spark Declarative Pipelines（SDP），用于构建生产级流式处理管道。您将学习高级设计模式、强健的数据质量执行机制，以及实际湖仓工程中不可或缺的跨平台集成技术。

在整个课程中，您将深入了解现代数据摄取与处理技术，掌握 Liquid Clustering 布局优化工具以及用于混合 schema 事件的多路复用流式处理模式。完成各模块学习后，您将能够自信地处理 schema演进、自动化变更数据捕获（CDC）并确保数据完整性。

通过讲授与实操演示，您将：

• 构建多流管道，将多源数据摄取至统一的铜层表中。

• 在白银层与黄金层中应用 Liquid Clustering 与数据质量期望规则。

• 结合 Iceberg UniForm 实现多路复用模式，以支持跨平台数据访问。

• 使用 AUTO CDC INTO 自动化 SCD Type 2 历史追踪。

• 设计零数据丢失的隔离管道，以审计和管理无效记录。

注意：

本课程是 ‘Advanced Data Engineering with Databricks’ 系列的第一门课程。对于 SCORM 讲座文件，请确保在完成内容后关闭 SCORM 窗口。请勿点击‘Next Lesson’按钮，否则 SCORM 模块可能无法标记为已完成。

在本课程中，您将学习如何设计和实现机器学习工作流，使其能够从单台机器扩展到 Databricks 上的分布式 compute。课程内容分为三个模块：模型开发基础（何时以及为何进行分布式处理，以及 Spark 如何执行任务）、使用 Spark ML 和 MLflow 进行可扩展模型开发，以及使用 Ray 和 PyTorch 进行分布式模型训练——最后介绍一个用于为特定工作负载选择合适工具的框架。

通过动手演示和实验，您将使用 Transformers、Estimators 以及 fit/transform 范式构建分布式 Spark ML管道；使用 Spark 上的 Pandas API 扩展现有 Pandas 代码；并使用 MLflow 3 和 Unity Catalog 追踪、比较和管理实验。随后，您将使用 Ray Train 和 PyTorch（TorchDistributor 和 DeepSpeed）在集群中训练模型，并学习如何根据数据规模、模型规模、硬件和成本，将每种工作负载与合适的框架相匹配。

课程最后以一个综合实践项目收尾，该项目涵盖端到端的完整流程——特征工程、大规模训练模型、使用 MLflow 进行追踪，以及通过治理别名将模型注册到 Unity Catalog。（生产部署、服务和监控内容将在独立的 Advanced MLOps 课程中讲授。）

学完本课程后，您将能够在 Databricks 上选择、构建并论证分布式、可复现且受治理的模型开发工作流。

注意：对于 SCORM 讲座文件，请在完成内容后关闭 SCORM 窗口。请勿点击“Next Lesson”按钮，否则可能导致 SCORM 模块无法标记为已完成。