Advanced Techniques with Apache Spark Declarative Pipelines - Mandarin Chinese

本课程探讨 Databricks 的 Apache Spark Declarative Pipelines（SDP），用于构建生产级流式处理管道。您将学习高级设计模式、严格的数据质量管控以及跨平台集成——这些都是现实世界湖仓工程不可或缺的能力。

在整个课程中，您将深入了解现代数据采集与处理技术，掌握 Liquid Clustering 等布局优化工具以及用于混合 schema 事件的多路复用流式处理模式。完成所有模块后，您将能够自信地处理 schema演进、自动化变更数据捕获（CDC）并确保数据完整性。

备注：

1. 本课程属于“Databricks 高级数据工程”系列课程。

2. Databricks Academy 正在逐步将 Databricks 环境中的课堂课程改为基于 notebook 的形式，并停止在讲座中使用幻灯片。您可以在 Vocareum 实验环境中访问讲座 notebook。

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话

Skill Level

Professional

Duration

Prerequisites

本课程内容面向具备以下技能、知识和能力的学员：

• Spark Declarative Pipelines — 完成"Build Data Pipelines with Apache Spark Declarative Pipelines"课程，或熟悉 CREATE OR REFRESH STREAMING TABLE、CONSTRAINTS 以及 Pipelines UI

• Delta Lake Fundamentals — 了解 Delta 表，以及 Delta 如何管理数据文件和事务日志

• Streaming Concepts — 掌握 SDP 中的微批流式处理、检查点和事件时间处理相关知识

• SQL Proficiency — 能够读写 SQL，包括 SELECT、JOIN、MERGE、CASE WHEN 以及常用聚合函数

• Python in Databricks Notebooks — 能够在 Databricks Notebooks 中读取和运行 Python 代码

• Unity Catalog Basics — 了解 Unity Catalog 中的目录、架构、表和 Volumes

Outline

• SDP 中的 Multi Flows、Expectation 和 Liquid Clustering 简介

• 演示：结合 Liquid Clustering 和数据质量的 Multi Flow SDP

• Multiplex Streaming、Delta Sinks 和 Iceberg 读取简介

• 演示：使用 Multiplex Streaming、Delta Sinks 和 Iceberg 读取的 SDP

• 变更数据捕获（Change Data Capture，CDC）回顾

• 演示：在 Apache Spark Declarative Pipelines 中使用 AUTO CDC 自动化 SCD Type 2

• SDP 中的高级数据质量检查与 Expectations

• 演示：SDP 中的高级数据质量检查与 Expectation

• 实验：使用 SDP 构建多源电商数据管道

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Business Impact Accelerator: Answering Business Questions with Genie - Mandarin Chinese

本课程介绍 Databricks Genie One——一个以 AI 为驱动、围绕您的需求与工作而设计的协作环境。在这里，您可以用自然语言就组织数据提出问题，并获得受治理的安全答案；可以调度报告以自动运行，也可以自动化您的工作流，从而更快、更准确地完成更多工作——因为这一切都基于您的数据与业务。您将了解 Genie、Genie One 和 Genie Agents 分别是什么、它们如何保障您的数据安全，以及获取最佳结果的最佳实践。

Deploying and Monitoring Agent Applications on Databricks - Mandarin Chinese

本课程涵盖在 Databricks 上部署和监控生成式 AI 智能体的端到端生命周期。学员将学习如何使用 Declarative Automation Bundles（DABs）将智能体部署为 Databricks Apps，通过模型上下文协议（MCP）集成工具，使用 MLflow Tracing 对智能体进行插桩，以及使用评分器、多轮评判器和在线评估来评估生产质量。通过动手演示和实验，学员将获得在 Databricks 平台上构建、观测和监控生产级 AI 智能体的实践经验。

注意：Databricks Academy 正在将 Databricks 环境中的课堂教学转为基于 notebook 的形式，不再使用幻灯片进行授课。您可以在 Vocareum 实验环境中访问课程 notebook。

Agent Evaluation on Databricks - Mandarin Chinese

本课程教授学生如何使用 MLflow 的评估框架对 AI 智能体进行系统性评估，以应对传统软件测试无法处理的非确定性 AI 系统所带来的独特挑战。学生将评估一个已注册在 Unity Catalog 中并通过 Unity Gateway 调用其模型的共享工具调用智能体，使用内置评判器处理正确性和安全性等常见标准，使用准则评判器满足特定业务需求，并使用自定义评判器应对专项需求。本课程涵盖使用精选数据集进行离线评估和在线生产监控，包括在 Unity Catalog 中存储 MLflow Traces。学生将使用 MLflow Tracing 了解智能体的执行模式，并收集来自开发人员和主题专家的人工反馈，这些专家通过 Databricks App 对智能体进行审查。通过实践演示和实验，学生将掌握创建评估 Workflows 的技能，从而在 AI 智能体开发生命周期中持续推动质量提升。

注意：Databricks Academy 正在转向在 Databricks 环境中使用基于笔记本的课堂授课形式，并将不再使用幻灯片进行讲授。您可以在 Vocareum 实验环境中访问课程讲义笔记本。

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话