Model Development at Scale

本课程向用户介绍使用 Databricks 中的 Apache Spark™ Declarative Pipelines (SDP) 构建数据管道所需的基本概念和技能，涵盖通过多个流式处理表和物化视图进行增量批处理或流式处理摄取与处理。本课程专为初次接触 Spark Declarative Pipelines 的数据工程师设计，全面介绍核心组件，包括增量数据处理、流式处理表、物化视图和临时视图，并重点说明其各自的用途与区别。

课程涵盖以下主题：

• 使用 Spark Declarative Pipelines 中的多文件编辑器，通过 SQL 开发和调试 ETL 管道（并提供 Python 代码示例）

• Spark Declarative Pipelines 如何通过管道图形跟踪管道中的数据依赖关系

• 配置管道 compute 资源、数据资产、触发器模式及其他高级选项

随后，课程介绍 Spark Declarative Pipelines 中的数据质量期望，引导用户将期望集成到管道中，以验证和强制执行数据完整性。学员还将浏览如何将管道投入生产，包括调度选项，以及启用管道事件日志记录以监控管道性能和健康状况。

最后，课程介绍如何在 Spark Declarative Pipelines 中使用 AUTO CDC INTO 语法实现变更数据捕获 (CDC)，以管理缓慢变化维度（SCD Type 1 和 Type 2），帮助用户将 CDC 集成到自己的管道中。

注意：对于 SCORM 课程文件，请确保完成内容后关闭 SCORM 窗口。请勿点击‘Next Lesson’按钮，否则可能会导致 SCORM 模块无法标记为已完成。

在本课程中，您将全面了解如何在 Databricks 平台上设计、扩展和运营化端到端特征工程管道。课程内容分为三个递进式模块：掌握 Spark 分布式执行与优化的基础知识、使用 Auto Loader 和声明式 LakeFlow 管道实现可扩展的数据摄取，以及借助 Databricks 特征存储进阶至生产级 MLOps。

您将参与实践学习，内容包括：使用 Catalyst optimizer 和 Spark UI 调试 Spark 性能、构建具备自动化质量检查的稳健铜-白银-黄金奖章架构、以及使用 SparkML 实现可扩展的特征转换。课程最终将涵盖通过在线特征存储部署实时特征服务、使用按需转换定义 FeatureSpec，以及借助 Unity Catalog 应用治理与血缘追踪。

完成本课程后，您将具备在企业级规模下管理机器学习完整特征生命周期的能力——设计出高性能、可靠、受治理且面向生产的管道。

注意：对于 SCORM 课程文件，请确保完成内容后关闭 SCORM 窗口。请勿点击“Next Lesson”按钮，否则可能导致 SCORM 模块无法标记为已完成。

本课程讲授如何在 Databricks Data Intelligence Platform 上使用纯 SQL 构建生产就绪的 ETL 管道。学员将学习以下内容：使用 Auto Loader 的流式处理表（用于增量摄取）、具有增量 刷新 功能的物化视图（用于白银到黄金的转换）、AUTO CDC（FLOW AUTO CDC）（用于声明式 SCD Type 1 和 Type 2 维度管理），以及 Apache Spark Declarative Pipelines（SDP）——将上述对象组合成具有数据质量期望、PRIVATE 表和统一监控功能的生产多表管道。本课程以一个真实的零售数据集为例，贯穿金银铜架构（铜 → 白银 → 黄金）的完整流程。使用 Lakeflow Jobs 进行编排作为附加模块提供。

注意：对于 SCORM 课程文件，请在完成内容后关闭 SCORM 窗口。请勿点击“下一课”按钮，否则可能导致 SCORM 模块无法标记为已完成。