Lakebase Postgres to Lakehouse Change Data Feed

在本课程中，您将深入了解 Apache Spark 的架构及其在 Databricks 中应用于机器学习工作负载的理论与实践知识。您将学习何时使用 Spark 进行数据准备、模型训练和部署，同时获得使用 Spark ML 以及 Pandas APIs on Spark 的实践经验。本课程将向您介绍高级概念，例如超参数调优以及使用 Spark 扩展 Optuna。本课程将使用助理课程中介绍的功能和概念，例如 MLflow 和 Unity Catalog，以实现全面的模型打包与治理。

注意: 对于 SCORM 讲授文件，请确保在完成内容后关闭 SCORM 窗口。请勿点击“Next Lesson”按钮，否则可能导致 SCORM 模块无法被标记为已完成。

本课程向用户介绍使用 Databricks 中的 Apache Spark™ Declarative Pipelines (SDP) 构建数据管道所需的基本概念和技能，涵盖通过多个流式处理表和物化视图进行增量批处理或流式处理摄取与处理。本课程专为初次接触 Spark Declarative Pipelines 的数据工程师设计，全面介绍核心组件，包括增量数据处理、流式处理表、物化视图和临时视图，并重点说明其各自的用途与区别。

课程涵盖以下主题：

• 使用 Spark Declarative Pipelines 中的多文件编辑器，通过 SQL 开发和调试 ETL 管道（并提供 Python 代码示例）

• Spark Declarative Pipelines 如何通过管道图形跟踪管道中的数据依赖关系

• 配置管道 compute 资源、数据资产、触发器模式及其他高级选项

随后，课程介绍 Spark Declarative Pipelines 中的数据质量期望，引导用户将期望集成到管道中，以验证和强制执行数据完整性。学员还将浏览如何将管道投入生产，包括调度选项，以及启用管道事件日志记录以监控管道性能和健康状况。

最后，课程介绍如何在 Spark Declarative Pipelines 中使用 AUTO CDC INTO 语法实现变更数据捕获 (CDC)，以管理缓慢变化维度（SCD Type 1 和 Type 2），帮助用户将 CDC 集成到自己的管道中。

注意：对于 SCORM 课程文件，请确保完成内容后关闭 SCORM 窗口。请勿点击‘Next Lesson’按钮，否则可能会导致 SCORM 模块无法标记为已完成。

在本课程中，您将全面了解如何在 Databricks 平台上设计、扩展和运营化端到端特征工程管道。课程内容分为三个递进式模块：掌握 Spark 分布式执行与优化的基础知识、使用 Auto Loader 和声明式 LakeFlow 管道实现可扩展的数据摄取，以及借助 Databricks 特征存储进阶至生产级 MLOps。

您将参与实践学习，内容包括：使用 Catalyst optimizer 和 Spark UI 调试 Spark 性能、构建具备自动化质量检查的稳健铜-白银-黄金奖章架构、以及使用 SparkML 实现可扩展的特征转换。课程最终将涵盖通过在线特征存储部署实时特征服务、使用按需转换定义 FeatureSpec，以及借助 Unity Catalog 应用治理与血缘追踪。

完成本课程后，您将具备在企业级规模下管理机器学习完整特征生命周期的能力——设计出高性能、可靠、受治理且面向生产的管道。

注意：对于 SCORM 课程文件，请确保完成内容后关闭 SCORM 窗口。请勿点击“Next Lesson”按钮，否则可能导致 SCORM 模块无法标记为已完成。