Get Started with AI Agents on Databricks

本课程探讨 Databricks 的 Apache Spark Declarative Pipelines（SDP），用于构建生产级流式处理管道。您将学习高级设计模式、严格的数据质量管控以及跨平台集成——这些都是现实世界湖仓工程不可或缺的能力。

在整个课程中，您将深入了解现代数据采集与处理技术，掌握 Liquid Clustering 等布局优化工具以及用于混合 schema 事件的多路复用流式处理模式。完成所有模块后，您将能够自信地处理 schema演进、自动化变更数据捕获（CDC）并确保数据完整性。

注意：

本课程是 ‘Advanced Data Engineering with Databricks’ 系列的第一门课程。对于 SCORM 讲座文件，请确保在完成内容后关闭 SCORM 窗口。请勿点击‘Next Lesson’按钮，否则 SCORM 模块可能无法标记为已完成。

本课程讲授在 Databricks 上为传统机器学习准备数据的基础知识。学员将数据加载到由 Unity Catalog 管理的 Delta 表中，并通过 Notebooks、内置可视化功能和 Genie Code 对数据进行浏览。随后，他们对数据进行数据清洗、处理缺失值和异常值、在不产生数据泄漏的前提下对数据进行拆分和采样，并构建可复现的 Spark ML管道，用于填补缺失值、编码和标准化。最后，他们使用 Unity Catalog 中的 Feature Engineering 对特征进行存储、管理和复用。内容还涵盖用于无泄漏训练集的时间点查询，以及基于 Lakebase 的 Online Feature Store 在线特征服务简介。每个模块均将讲授与实操演示相结合，并配有一个在 serverless compute 上运行的实验室。模型训练、服务和监控不在本课程范围内，相关内容在 Machine Learning Model Development 和 Machine Learning Model Deployment 课程中讲授。本课程面向希望在 Databricks 上夯实数据准备基础的初级数据科学家和机器学习从业者。

注意：

这是 'Machine Learning with Databricks’ 系列课程中的第一门课程。对于 SCORM 课程文件，请确保完成内容后关闭 SCORM 窗口。请勿点击 ‘Next Lesson’ 按钮，否则可能导致 SCORM 模块无法标记为已完成

This tutorial explores how to build a full-stack Databricks App with Lakebase using a DevHub template and an AI coding agent. You will see how DevHub prompts, Databricks Apps, Lakebase, AppKit, and Declarative Automation Bundles work together to turn application requirements into a deployed, persistent CRUD application backed by managed Postgres.

Along the way, the tutorial deconstructs the generated application to explain how identity, application resources, database isolation, source structure, configuration, deployment, and testing fit together. Rather than providing a comprehensive treatment of each individual technology, the focus is on understanding the end-to-end development workflow and the architectural relationships behind the finished application.