Get Started with Data Governance on Databricks

本课程介绍 AI 智能体的概念、其在现代 AI 应用中的作用，以及如何在 Databricks 平台上构建 AI 智能体应用程序。您将学习 AI 智能体的基本原理、它们与传统 AI 系统的区别，并浏览其核心键组件。通过互动演示和实践实验，您将了解如何使用 Databricks AI 和 Agent Bricks 在 Databricks 上构建、部署和评估 AI 智能体。在本课程结束时，您将掌握如何使用 Databricks Data + AI Platform 创建和部署 AI 智能体。

注意：对于 SCORM 课程讲座文件，请确保在完成内容后关闭 SCORM 窗口。请勿点击“下一课”按钮，因为这样可能会导致 SCORM 模块无法标记为已完成。

Languages Available: English | 日本語 | 한국어 | 普通话 

在本课程中，您将深入了解 Apache Spark 的架构及其在 Databricks 中应用于机器学习工作负载的理论与实践知识。您将学习何时使用 Spark 进行数据准备、模型训练和部署，同时获得使用 Spark ML 以及 Pandas APIs on Spark 的实践经验。本课程将向您介绍高级概念，例如超参数调优以及使用 Spark 扩展 Optuna。本课程将使用助理课程中介绍的功能和概念，例如 MLflow 和 Unity Catalog，以实现全面的模型打包与治理。

注意: 对于 SCORM 讲授文件，请确保在完成内容后关闭 SCORM 窗口。请勿点击“Next Lesson”按钮，否则可能导致 SCORM 模块无法被标记为已完成。

本课程向用户介绍使用 Databricks 中的 Apache Spark™ Declarative Pipelines (SDP) 构建数据管道所需的基本概念和技能，涵盖通过多个流式处理表和物化视图进行增量批处理或流式处理摄取与处理。本课程专为初次接触 Spark Declarative Pipelines 的数据工程师设计，全面介绍核心组件，包括增量数据处理、流式处理表、物化视图和临时视图，并重点说明其各自的用途与区别。

课程涵盖以下主题：

• 使用 Spark Declarative Pipelines 中的多文件编辑器，通过 SQL 开发和调试 ETL 管道（并提供 Python 代码示例）

• Spark Declarative Pipelines 如何通过管道图形跟踪管道中的数据依赖关系

• 配置管道 compute 资源、数据资产、触发器模式及其他高级选项

随后，课程介绍 Spark Declarative Pipelines 中的数据质量期望，引导用户将期望集成到管道中，以验证和强制执行数据完整性。学员还将浏览如何将管道投入生产，包括调度选项，以及启用管道事件日志记录以监控管道性能和健康状况。

最后，课程介绍如何在 Spark Declarative Pipelines 中使用 AUTO CDC INTO 语法实现变更数据捕获 (CDC)，以管理缓慢变化维度（SCD Type 1 和 Type 2），帮助用户将 CDC 集成到自己的管道中。

注意：对于 SCORM 课程文件，请确保完成内容后关闭 SCORM 窗口。请勿点击‘Next Lesson’按钮，否则可能会导致 SCORM 模块无法标记为已完成。