Introduction to Apache Spark™

Databricks Performance Optimization 课程向数据工程师和分析师讲授如何在 Databricks Data Intelligence Platform 上诊断、衡量和修复性能瓶颈，以及如何将性能改进与成本关联起来。本课程遵循"先衡量、先利用平台"的工作流：让平台的自动优化功能承担繁重工作，通过 Query Profile 和系统表验证已应用的优化，再在必要时进行手动调优。

学员将以 Query Profile、Performance Insights 和查询历史记录系统表为基础，建立衡量性能的能力。在此基础上，他们将探索关键优化技术，包括数据布局与自调优托管表、liquid clustering、缓存与中间结果、shuffle、数据倾斜、溢出、行爆炸、驱动程序性能、Python UDF、serverless compute、Photon 以及成本归因。

在整个课程中，学员将针对合成零售数据中刻意设计的慢查询进行探索，并观察不同优化技术对性能的影响。他们将利用文件裁剪、任务执行时间、Photon 覆盖率和成本等依据来评估改进效果。两个基于场景的实验将强化从诊断到验证的完整优化工作流。

注意：Databricks Academy 正在将 Databricks 环境中的课堂教学转为基于 notebook 的形式，不再使用幻灯片进行授课。您可以在 Vocareum 实验环境中访问课程 notebook。

Languages Available: English | 日本語 | Português BR | 한국어

本内容提供了一份在 Databricks 中管理数据隐私的综合指南，涵盖 Delta Lake 架构、区域数据隔离、GDPR/CCPA 合规以及 Change Data Feed (CDF) 使用等核心主题。通过实践演示和动手实验，参与者将学习如何使用 Unity Catalog 功能保护敏感数据并确保合规，从而有效维护数据完整性。

Languages Available: English | 日本語 | Português BR | 한국어

本课程讲授如何在 Databricks Data Intelligence Platform 上使用纯 SQL 构建生产就绪的 ETL 管道。学员将学习以下内容：使用 Auto Loader 的流式处理表（用于增量摄取）、具有增量 刷新 功能的物化视图（用于白银到黄金的转换）、AUTO CDC（FLOW AUTO CDC）（用于声明式 SCD Type 1 和 Type 2 维度管理），以及 Apache Spark Declarative Pipelines（SDP）——将上述对象组合成具有数据质量期望、PRIVATE 表和统一监控功能的生产多表管道。本课程以一个真实的零售数据集为例，贯穿金银铜架构（铜 → 白银 → 黄金）的完整流程。使用 Lakeflow Jobs 进行编排作为附加模块提供。

注意：Databricks Academy 正在将 Databricks 环境中的课堂课程转为基于 notebook 的形式，并停止在讲座中使用幻灯片。您可以在 Vocareum 实验环境中访问课程 notebook。