Reverse ETL with Lakebase and Synced Tables

本课程讲授如何在 Databricks Data Intelligence Platform 上使用纯 SQL 构建生产就绪的 ETL 管道。学员将学习以下内容：使用 Auto Loader 的流式处理表（用于增量摄取）、具有增量 刷新 功能的物化视图（用于白银到黄金的转换）、AUTO CDC（FLOW AUTO CDC）（用于声明式 SCD Type 1 和 Type 2 维度管理），以及 Apache Spark Declarative Pipelines（SDP）——将上述对象组合成具有数据质量期望、PRIVATE 表和统一监控功能的生产多表管道。本课程以一个真实的零售数据集为例，贯穿金银铜架构（铜 → 白银 → 黄金）的完整流程。使用 Lakeflow Jobs 进行编排作为附加模块提供。

注意：对于 SCORM 课程文件，请在完成内容后关闭 SCORM 窗口。请勿点击“下一课”按钮，否则可能导致 SCORM 模块无法标记为已完成。

本课程专注于使用 Databricks 为机器学习准备数据的基础知识。学员将学习探索、清洗和整理数据的核心技能，这些技能专为传统机器学习应用而设计。主要主题包括数据可视化、特征工程以及最优特征存储策略。通过实践练习，学员将获得在 Databricks 中高效准备机器学习数据集的实操经验。本课程面向初级数据科学家、机器学习从业者，以及希望提升数据准备能力的人员，旨在为成功部署机器学习模型奠定坚实基础。

注意：

这是 'Machine Learning with Databricks’ 系列课程中的第一门课程。对于 SCORM 课程文件，请确保完成内容后关闭 SCORM 窗口。请勿点击 ‘Next Lesson’ 按钮，否则可能导致 SCORM 模块无法标记为已完成。

Databricks Apps 使您能够直接在 Databricks 平台上构建和部署交互式数据与 AI 应用程序。但成功的 AI 辅助开发不仅仅是生成代码——它更关乎建立有效的工作流。

在本实践课程中，您将以 Genie Code 作为 AI 开发助手，从零开始构建一个以 Lakebase 为后端的 Databricks App。在此过程中，您将学习一套实用且可重复的 AI 辅助开发方法：在生成代码之前明确表达意图、以小步骤可验证的方式推进工作、充分利用可复用的 Genie Code Skills，以及将 AI 生成的输出视为需要审查和优化的内容——而非直接接受。

您将创建并部署一个 Databricks App，配置并连接 Lakebase 数据库作为其事务存储，实现 CRUD 运营，并使用 Genie Code 加速常见的开发任务。课程结束时，您不仅将拥有一个可运行的应用程序，还将掌握一套在未来 software 项目中与 AI 高效协作的实用框架。

注意：对于 SCORM 课程文件，请在完成内容后关闭 SCORM 窗口。请勿点击“下一课”按钮，否则可能导致 SCORM 模块无法标记为已完成。