Machine Learning at Scale

本课程介绍在 Databricks Data Intelligence Platform 上执行基本数据工程工作流所需的基础技能。您将浏览 workspace，使用 Unity Catalog，并学习数据工程师在 Databricks 上日常使用的核心构建模块。

本课程采用实践路径。您从熟悉 workspace 开始，然后针对每个主题完成配套的演示笔记本和实验室笔记本。演示部分将由讲师或引导式笔记本带您了解相关概念。

课程内容涵盖：

Databricks Data Intelligence Platform，以及 Databricks workspace、Unity Catalog 和笔记本之间的协作关系。

创建和管理 Delta Lake 表。

使用 INSERT、UPDATE 和 DELETE 修改数据。

浏览 UC 表的版本历史与 time travel 功能。

使用 LakeFlow Connect 的多种方式摄取数据：CTAS、上传 UI 以及 COPY INTO。

构建奖章架构管道，将数据依次经过铜牌、银牌和金牌层进行转换。

使用 LakeFlow Jobs 实现管道自动化。

（附加内容）使用 Apache Spark™ Declarative Pipelines 构建声明式管道。

完成本课程后，您将能够熟练创建 Delta Lake 表、向其中摄取数据、通过奖章管道对数据进行转换，并将整个流程自动化为定时任务。

注意：Databricks Academy 正在将 Databricks 环境中的课堂课程转为基于 notebook 的形式，并停止在讲座中使用幻灯片。您可以在 Vocareum 实验环境中访问课程 notebook。

本课程提供 Databricks Data Intelligence Platform 的实践入门，重点介绍用于构建和部署生成式 AI 系统的关键组件与功能。学员将了解 Databricks 如何促进可扩展生成式 AI 解决方案的开发，并浏览 AI Search、Agent Framework 以及 MLflow 的生成式 AI 功能（用于模型追踪与日志记录）等工具。本课程包含构建和评估 Retrieval-Augmented Generation (RAG) 管道、部署生成式 AI 智能体，以及利用评估框架优化性能的实践经验。课程结束时，学员将具备在 Databricks Data Intelligence Platform 上设计、部署和监控常见生成式 AI 应用程序的技能。

注意：Databricks Academy 正在将 Databricks 环境中的课堂课程转为基于 notebook 的形式，并停止在讲座中使用幻灯片。您可以在 Vocareum 实验环境中访问课程 notebook。

本课程专为 Python 零基础学员设计，旨在介绍以编程方式处理数据的基础知识。课程从编程表达式、变量和数据类型的基本介绍开始，随后逐步深入讲解条件语句与控制语句、函数、集合类型、循环、错误处理以及类。您将学习如何通过外部依赖库扩展 Python 的功能，并获得使用 Pandas 依赖库进行数据分析与可视化的实践经验，包括借助 Apache Spark 扩展 Pandas 工作流。最后，您将浏览云计算的基本原理。在整个课程中，您将通过实验室练习获得大量实践机会，并可参考额外的资源，在课后进一步深化编程知识。