DevOps Essentials for Data Engineering - Mandarin Chinese

本课程全面介绍 LakeFlow Connect——一种可扩展且简便的解决方案，用于将来自各种来源的数据摄取到 Databricks 中。您将首先浏览 LakeFlow Connect 连接器的不同类型（标准型和托管型），并学习各种数据摄取技术，包括批处理摄取、增量批处理摄取和流式处理摄取。您还将了解使用 Delta 表和金银铜架构的主要优势。

接下来，您将培养使用 LakeFlow Connect 标准连接器从云对象存储摄取数据的实践技能。这包括使用 CREATE TABLE AS SELECT（CTAS）、COPY INTO 和 Auto Loader 等方法，并重点介绍每种方法的优势和注意事项。您还将学习如何在将数据摄取到 Databricks Data Intelligence Platform 的过程中，向铜层表追加元数据列。课程随后介绍如何使用救援数据列处理与表架构不匹配的记录，以及管理和分析此类数据的策略。您还将探索摄取和展平半结构化 JSON 数据的技术。

此后，您将探索如何使用 LakeFlow Connect 托管连接器执行企业级数据摄取，以引入来自数据库和软件即服务（SaaS）应用程序的数据。课程还将介绍 Partner Connect，作为将合作伙伴工具集成到摄取工作负载中的一种选项。

最后，课程以替代摄取策略作为总结，包括 MERGE INTO 运营以及利用 Databricks Marketplace，为您奠定坚实的基础，以支持现代数据工程用例。

注意：对于 SCORM 课程文件，请确保完成内容后关闭 SCORM 窗口。请勿点击“下一课”按钮，否则可能导致 SCORM 模块无法标记为已完成。

In this course, you will gain a comprehensive understanding of how to design, scale, and operationalize end-to-end feature engineering pipelines on the Databricks platform. The curriculum is structured across three progressive modules: mastering the fundamentals of Spark’s distributed execution and optimization, implementing scalable data ingestion with Auto Loader and declarative Lakeflow pipelines, and advancing to production-grade MLOps with the Databricks Feature Store.

You will engage in hands-on learning experiences such as debugging Spark performance with the Catalyst Optimizer and Spark UI, building robust Bronze-Silver-Gold medallion architectures with automated quality checks, and implementing scalable feature transformations using SparkML. The course culminates in deploying real-time feature serving through Online Feature Stores, defining FeatureSpecs with on-demand transformations, and applying governance and lineage tracking with Unity Catalog.

Note: For SCORM lecture files, please ensure that you close the SCORM window after completing the content. Do not click the ‘Next Lesson’ button, as doing so may prevent the SCORM module from being marked as complete.

《使用 Lakeflow Jobs 部署工作负载》课程讲授如何在 Databricks 生态系统中，以 Lakeflow Jobs 作为统一编排平台，对数据、分析及 AI 工作流进行编排与自动化。

• 您将学习如何使用有向 Acyclic 图（DAG）设计并实现数据工作负载、配置各种调度选项，以及实现高级工作流功能，例如条件任务执行、run-if 依赖关系和 for each 循环。

• 本课程涵盖创建健壮、可投入生产的流水线的最佳实践，包括合理的 compute 选择、模块化编排、错误处理技术以及容错设计——所有这些均原生集成于 Databricks Data Intelligence Platform 之中。

注意：对于 SCORM 课程文件，请确保完成内容后关闭 SCORM 窗口。请勿点击“下一课”按钮，否则可能导致 SCORM 模块无法标记为已完成。