Machine Learning Model Development

Databricks Performance Optimization 课程教导数据工程师和分析师如何在 Databricks Data Intelligence Platform 上诊断、衡量和修复性能瓶颈，以及如何将性能提升与成本关联起来。本课程遵循"先衡量、先平台"的工作流：让平台的自动优化功能承担繁重工作，通过 Query Profile 和系统表验证已应用的优化，再在必要时进行手动调优。

学员将以 Query Profile、Performance Insights 和查询历史记录系统表为基础，学习如何衡量性能。在此基础上，他们将探索关键优化技术，包括数据布局与自调优托管表、liquid clustering、缓存与中间结果、shuffle、数据倾斜、溢出、行爆炸、驱动程序性能、Python UDF、serverless compute、Photon 以及成本归因。

在整个课程中，学员将针对合成零售数据中刻意设计的慢查询进行探索，观察不同优化技术对性能的影响。他们将利用文件裁剪、任务执行时间、Photon 覆盖率和成本等依据来评估优化效果。两个基于场景的实验室将强化从诊断到验证的完整优化工作流。

注意：Databricks Academy 正在将 Databricks 环境中的课堂教学转为基于 notebook 的形式，不再使用幻灯片进行授课。您可以在 Vocareum 实验环境中访问课程 notebook。

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话

Databricks 数据隐私课程面向数据工程师，讲解如何在 Databricks Data Intelligence Platform 上发现、保护、删除个人数据并对其负责。课程将隐私视为建立在 Unity Catalog 和 Delta Lake 之上的一组技术决策与控制。课程把隐私与安全、治理和合规区分开来，然后围绕识别、保护、管理、验证的生命周期，以及学习者可应用于每项技术的简短决策模型来组织工作。

学习者首先使用 Data Classification 查找敏感列，并用治理标签记录每列应如何处理。他们用基于标签的属性访问控制（ABAC）策略保护这些列，并在中央策略不适用时使用手动列掩码和行过滤器。去标识化进一步涵盖加盐哈希、通过单独治理的保险库进行令牌化，以及列加密，盐值和密钥保存在 Databricks Secrets 中。对于删除权，学习者跟踪请求，借助分类和血缘查找主体数据，用 DELETE 和 MERGE 删除并传播变更，再用 REORG TABLE ... APPLY (PURGE) 和考虑保留期的 VACUUM 清除底层文件。课程最后将血缘、审计日志、查询历史和 Delta 表历史组合成证据链，证明各项控制是否生效。

所有数据均为合成数据。演示沿着一家跨国零售商的数据资产走完生命周期，并以已掩码的查询结果、空的删除检查或表历史记录等证据结束每项控制。两个基于场景的实验强化该工作流。第一个实验中，学习者修复子公司客户表上损坏的保护。第二个实验中，他们完成一份只做了一半的删除请求，并汇总完成证据。本课程为技术课程，不提供法律建议。

注意： Databricks Academy 正在将 Databricks 环境中的课堂教学过渡为基于 Notebook 的形式，不再使用幻灯片进行讲座。您可以在 Vocareum 实验室环境中访问讲座 Notebook。

本课程讲授如何在 Databricks Data Intelligence Platform 上使用纯 SQL 构建生产就绪的 ETL 管道。学员将学习以下内容：使用 Auto Loader 的流式处理表（用于增量摄取）、具有增量 刷新 功能的物化视图（用于白银到黄金的转换）、AUTO CDC（FLOW AUTO CDC）（用于声明式 SCD Type 1 和 Type 2 维度管理），以及 Apache Spark Declarative Pipelines（SDP）——将上述对象组合成具有数据质量期望、PRIVATE 表和统一监控功能的生产多表管道。本课程以一个真实的零售数据集为例，贯穿金银铜架构（铜 → 白银 → 黄金）的完整流程。使用 Lakeflow Jobs 进行编排作为附加模块提供。

注意：Databricks Academy 正在将 Databricks 环境中的课堂课程转为基于 notebook 的形式，并停止在讲座中使用幻灯片。您可以在 Vocareum 实验环境中访问课程 notebook。