Databricks Platform Administration

在本课程中，您将学习如何设计和实现机器学习工作流，使其能够从单台机器扩展到 Databricks 上的分布式 compute。课程内容分为三个模块：模型开发基础（何时以及为何进行分布式处理，以及 Spark 如何执行任务）、使用 Spark ML 和 MLflow 进行可扩展模型开发，以及使用 Ray 和 PyTorch 进行分布式模型训练——最后介绍一个用于为特定工作负载选择合适工具的框架。

通过动手演示和实验，您将使用 Transformers、Estimators 以及 fit/transform 范式构建分布式 Spark ML管道；使用 Spark 上的 Pandas API 扩展现有 Pandas 代码；并使用 MLflow 3 和 Unity Catalog 追踪、比较和管理实验。随后，您将使用 Ray Train 和 PyTorch（TorchDistributor 和 DeepSpeed）在集群中训练模型，并学习如何根据数据规模、模型规模、硬件和成本，将每种工作负载与合适的框架相匹配。

课程最后以一个综合实践项目收尾，该项目涵盖端到端的完整流程——特征工程、大规模训练模型、使用 MLflow 进行追踪，以及通过治理别名将模型注册到 Unity Catalog。（生产部署、服务和监控内容将在独立的 Advanced MLOps 课程中讲授。）

学完本课程后，您将能够在 Databricks 上选择、构建并论证分布式、可复现且受治理的模型开发工作流。

注意：对于 SCORM 讲座文件，请在完成内容后关闭 SCORM 窗口。请勿点击“Next Lesson”按钮，否则可能导致 SCORM 模块无法标记为已完成。

本内容提供了在 Databricks 中管理数据隐私的综合指南。涵盖的关键主题包括：Delta Lake 架构、区域数据隔离、GDPR/CCPA 合规以及 Change Data Feed（CDF）的使用。通过实际演示和动手实验，参与者将学习如何使用 Unity Catalog 功能来保护敏感数据并确保合规，从而有效维护数据完整性。

注意：

1. Databricks Academy 正在将所有自定进度课程从视频讲座转换为更精简的 PDF 格式，其中包含幻灯片和讲义。请注意，演示视频仍将以原始格式提供。我们非常希望了解您对这一变化的看法，因此请在课程结束时通过课程调查分享您的反馈。感谢您成为我们学习社区的一员！

2. 本课程是“Advanced Data Engineering with Databricks”系列中的第二门课程。

Languages Available: English | 日本語 | Português BR  | 한국어 | Français | Español | 普通话

在本课程中，您将学习在 Databricks Platform 上进行平台管理的基础知识。本课程全面介绍了 Unity Catalog——这是在 Databricks 环境中实现有效数据治理的关键组件。课程共分为五个模块，首先详细介绍 Databricks 基础架构及其平台，包括对 Databricks Workspace 的深入讲解。您将浏览 Unity Catalog 中的数据治理原则，涵盖其核心概念、架构和角色。课程还着重介绍如何管理 Unity Catalog 元存储和 compute 资源，包括经典 compute 和 SQL 仓库。最后，您将通过学习权限、细粒度访问控制以及如何管理数据对象，掌握数据访问控制。课程结束后，您将具备管理 Unity Catalog 所需的核心技能，从而实现有效的数据治理、优化 compute 资源并制定可靠的数据安全策略。购买 Databricks Labs 订阅后，本课程还将以一个综合实验室练习作为收尾，帮助您在真实的 Databricks Workspace 环境中实践所学内容。

Languages Available: English | 日本語 | Português BR | 한국어