Monitoring and Optimizing Apache Spark Workloads on Databricks

本课程探讨软件工程最佳实践与 DevOps 原则，专为使用 Databricks 的数据工程师量身设计。学员将在代码质量、版本控制、文档编写和测试等关键主题上打下坚实基础。课程重点介绍 DevOps，涵盖其核心组件、优势，以及持续集成与持续交付（CI/CD）在优化数据工程工作流中所发挥的作用。

您将学习如何在 PySpark 中应用模块化原则，以创建可复用组件并高效组织代码结构。实践环节包括：使用 pytest 框架为 PySpark 函数设计并实现单元测试，以及使用 Spark Declarative Pipeline 和 Jobs 对 Databricks 数据管道进行集成测试，以确保其可靠性。

课程还涵盖 Databricks 中的基本 Git 运营操作，包括使用 Databricks Git Folders 集成持续集成实践。最后，您将从宏观层面了解 Databricks 资产的多种部署方式，例如 REST API、CLI、SDK 以及 Declarative Automation Bundles（DABs），从而掌握部署和管理管道的相关技术知识。

完成本课程后，您将熟练掌握软件工程与 DevOps 最佳实践，从而能够构建可扩展、易维护且高效的数据工程解决方案。

注意：

1. 这是“Data Engineering with Databricks”系列课程中的第四门课程。

2. 对于 SCORM 课程文件，请确保完成内容后关闭 SCORM 窗口。请勿点击“Next Lesson”按钮，否则可能导致 SCORM 模块无法标记为已完成。

本课程向用户介绍使用 Databricks 中的 Apache Spark™ Declarative Pipelines (SDP) 构建数据管道所需的基本概念和技能，涵盖通过多个流式处理表和物化视图进行增量批处理或流式处理摄取与处理。本课程专为初次接触 Spark Declarative Pipelines 的数据工程师设计，全面介绍核心组件，包括增量数据处理、流式处理表、物化视图和临时视图，并重点说明其各自的用途与区别。

课程涵盖以下主题：

• 使用 Spark Declarative Pipelines 中的多文件编辑器，通过 SQL 开发和调试 ETL 管道（并提供 Python 代码示例）

• Spark Declarative Pipelines 如何通过管道图形跟踪管道中的数据依赖关系

• 配置管道 compute 资源、数据资产、触发器模式及其他高级选项

随后，课程介绍 Spark Declarative Pipelines 中的数据质量期望，引导用户将期望集成到管道中，以验证和强制执行数据完整性。学员还将浏览如何将管道投入生产，包括调度选项，以及启用管道事件日志记录以监控管道性能和健康状况。

最后，课程介绍如何在 Spark Declarative Pipelines 中使用 AUTO CDC INTO 语法实现变更数据捕获 (CDC)，以管理缓慢变化维度（SCD Type 1 和 Type 2），帮助用户将 CDC 集成到自己的管道中。

注意：对于 SCORM 课程文件，请确保完成内容后关闭 SCORM 窗口。请勿点击‘Next Lesson’按钮，否则可能会导致 SCORM 模块无法标记为已完成。

《使用 Lakeflow Jobs 部署工作负载》课程讲授如何在 Databricks 生态系统中，以 Lakeflow Jobs 作为统一编排平台，对数据、分析及 AI 工作流进行编排与自动化。

• 您将学习如何使用有向 Acyclic 图（DAG）设计并实现数据工作负载、配置各种调度选项，以及实现高级工作流功能，例如条件任务执行、run-if 依赖关系和 for each 循环。

• 本课程涵盖创建健壮、可投入生产的流水线的最佳实践，包括合理的 compute 选择、模块化编排、错误处理技术以及容错设计——所有这些均原生集成于 Databricks Data Intelligence Platform 之中。

注意：对于 SCORM 课程文件，请确保完成内容后关闭 SCORM 窗口。请勿点击“下一课”按钮，否则可能导致 SCORM 模块无法标记为已完成。