Developing Applications with Apache Spark™ - Mandarin Chinese

在本课程中，您将浏览数据治理和 Unity Catalog 的基础知识。您将了解数据目录的演变与用途、Unity Catalog 的架构与组件，以及数据质量、安全性、合规、血缘关系和审计在数据治理中的重要性。

注意：对于 SCORM 讲授文件，请确保在完成内容后关闭 SCORM 窗口。请勿点击“Next Lesson”按钮，否则可能导致 SCORM 模块无法被标记为已完成。

Languages Available: English | 日本語 | 한국어

本课程探讨 Databricks 的 Apache Spark Declarative Pipelines（SDP），用于构建生产级流式处理管道。您将学习高级设计模式、强健的数据质量执行机制，以及实际湖仓工程中不可或缺的跨平台集成技术。

在整个课程中，您将深入了解现代数据摄取与处理技术，掌握 Liquid Clustering 布局优化工具以及用于混合 schema 事件的多路复用流式处理模式。完成各模块学习后，您将能够自信地处理 schema演进、自动化变更数据捕获（CDC）并确保数据完整性。

通过讲授与实操演示，您将：

• 构建多流管道，将多源数据摄取至统一的铜层表中。

• 在白银层与黄金层中应用 Liquid Clustering 与数据质量期望规则。

• 结合 Iceberg UniForm 实现多路复用模式，以支持跨平台数据访问。

• 使用 AUTO CDC INTO 自动化 SCD Type 2 历史追踪。

• 设计零数据丢失的隔离管道，以审计和管理无效记录。

注意：

本课程是 ‘Advanced Data Engineering with Databricks’ 系列的第一门课程。对于 SCORM 讲座文件，请确保在完成内容后关闭 SCORM 窗口。请勿点击‘Next Lesson’按钮，否则 SCORM 模块可能无法标记为已完成。

In this course, you will explore the fundamentals of data governance and Unity Catalog. You will learn about the evolution and purpose of data catalogs, the architecture and components of Unity Catalog, and the importance of data quality, security, compliance, lineage, and auditing in governance.

Languages Available: English | 日本語 | 한국어