作者：
Chieh-Hsin Lai（索尼 AI）
Yang Song（OpenAI）
Dongjun Kim（斯坦福大学）
Yuki Mitsufuji（索尼公司、索尼 AI）
Stefano Ermon（斯坦福大学）

arXiv: 2510.21890v1 [cs.LG] 2025年10月24日

摘要

本专著聚焦于塑造扩散模型发展的原理，追溯其起源，并展示不同表述如何从共同的数学思想中产生。

扩散建模始于设定一个前向破坏过程，逐步将数据变为噪声。该前向过程通过定义一族连续的中间分布，将数据分布与简单的噪声分布联系起来。扩散模型的核心目标是构造另一个反向过程，在将噪声转化为数据的同时，恢复由前向破坏过程定义的同一组中间分布。

我们从三个互补的角度形式化这一思想：

• 变分视角（受变分自编码器启发）：将扩散视为逐步学习去噪，通过一系列小规模去噪目标，共同教会模型把噪声变回数据。
• 基于分数的视角（源于能量模型）：学习演化中数据分布的梯度，该梯度指示如何将样本推向更可能的区域。
• 基于流的视角（与归一化流相关）：将生成视为沿一条光滑路径运动，在学到的速度场下将样本从噪声运送到数据。

这些视角共享一个共同骨架：一个学到的、依赖时间的速度场，其流将简单先验输运到数据。在此基础上，采样等价于求解一个微分方程，沿连续的生成轨迹将噪声演化为数据。本专著在此之上讨论了可控生成的引导、高效采样的高级数值求解器，以及沿该轨迹在任意时刻之间学习直接映射的、由扩散启发的流映射模型。

本专著面向具备基础深度学习背景、希望清晰、概念化且数学严谨地理解扩散模型的读者。它厘清理论基础、解释多种表述背后的推理，并为在这一快速发展的领域进一步学习与研究提供稳固的立足点；既可作研究者的原理性参考，也可作学习者的入门读物。

致谢

作者衷心感谢首尔大学及韩国高等研究院的 Dohyun Kwon 教授在本工作中付出的时间与精力。他仔细审阅了第 7 章部分内容，帮助保证陈述与证明的正确性，并参与了多次有价值的讨论，使表述更加清晰。除技术建议外，他的细致反馈与乐于分享的视角在撰写过程中给予了我们持续鼓励。我们诚挚感谢他的支持与协作精神，使最终版本更加完善。

前言与路线图

扩散模型已迅速成为生成建模的核心范式，大量工作涵盖机器学习、计算机视觉、自然语言处理等领域。相关文献分散于不同社区，并从不同维度推进：涉及建模原理、训练目标、采样器设计及其背后数学思想的理论基础；涵盖工程实践与架构选择的实现进展；将模型适配到特定领域或任务的实际应用；以及提升计算、内存与部署效率的系统级优化。

本专著旨在提供扩散模型的原理性基础，围绕以下主题展开：

• 呈现支撑扩散模型研究的核心概念与表述，使读者具备把握更广泛文献所需的核心理解。我们不做所有变体或领域应用的全面综述，而是建立一个稳固的概念基础，以便理解此类发展。
• 与学习从噪声到数据的直接映射的经典生成模型不同，扩散模型将生成视为随时间逐步的变换，从粗糙结构细化到精细细节。这一核心思想通过三种主要视角发展：变分、基于分数与基于流的方法，为理解与实现扩散建模提供了互补的途径。我们聚焦于这些表述的核心原理与基础，追溯其关键思想的起源、厘清不同表述之间的关系，并形成将直观洞察与严格数学表述联系起来的连贯理解。
• 在此基础之上，我们探讨扩散模型如何进一步发展，以更高效地生成样本、对生成过程提供更强控制，并催生以扩散原理为基础的独立生成建模形式。

本专著面向对深度学习（例如神经网络是什么、训练如何工作）或更具体地说是深度生成建模有基本了解的研究者、研究生与实践者，希望超越表面了解而深入掌握扩散模型。阅读后，读者将对扩散建模的基础有原理性理解、能在统一框架下解读不同表述，并具备既有信心应用现有模型又开展新研究方向的背景。

本专著路线图

本专著系统介绍扩散模型的基础，并追溯至其核心原理。

建议阅读路径。 建议按本书顺序阅读以建立全面理解。标为「可选」的章节可被已熟悉基础的读者跳过。例如，熟悉深度生成模型（DGM）的读者可跳过第 1 章概述；若已掌握变分自编码器（2.1 节）、能量模型（3.1 节）或归一化流（5.1 节），可跳过相应入门小节。其他可选部分提供更深入或专题性的见解，可按需查阅。

全书分为四个主要部分。

Part A 与 B：扩散模型的基础。 通过回顾塑造该领域的三种基础视角，追溯扩散模型的起源。

Part A：深度生成建模（DGM）导论。 第 1 章回顾深度生成建模的基本目标：从一组数据样本出发，目标是构建能产生看起来来自同一潜在且通常未知数据分布的新样本的模型。许多方法通过显式概率模型或隐式学习变换来学习数据分布。我们说明这类模型如何用神经网络表示数据分布、如何从样本中学习、如何生成新样本，并以主要生成框架的分类作结，突出其核心思想与关键区别。

Part B：扩散模型的核心视角。 在概述深度生成建模的一般目标与机制后，我们转向扩散模型——一类将生成实现为从噪声到数据的逐步变换的方法。我们考察三个相互关联的框架，均以逐步加噪的前向过程和由一系列执行逐步去噪的模型近似的反向过程为特征：

• 变分视角（第 2 章）：源于变分自编码器（VAE），将扩散框定为通过变分目标学习去噪过程，产生去噪扩散概率模型（DDPM）。
• 基于分数的视角（第 3 章）：植根于能量模型（EBM），发展为噪声条件分数网络（NCSN），学习对数数据密度的梯度（分数函数），指导如何逐步从样本中去除噪声。在连续时间下，第 4 章介绍分数 SDE 框架，将该去噪过程描述为随机微分方程（SDE）及其确定性对应——常微分方程（ODE），将扩散建模与经典微分方程理论联系起来。
• 基于流的视角（第 5 章）：建立在归一化流之上，由流匹配（Flow Matching）推广，将生成建模为在 ODE 定义的速度场下、将样本从简单先验连续运送到数据分布的变换。

第 6 章表明，这些视角虽初看不同，实则紧密相连：均采用某种条件策略将学习目标转化为可处理的回归问题；在更深层次上，它们描述的是同一概率分布随时间的演化（从先验到数据），该演化由福克–普朗克方程支配，可视为密度在连续时间下的变量变换，保证随机与确定性表述的一致性。

第 7 章（可选）将扩散模型视为将一种分布运送到另一种分布的方法，发展其与经典最优传输及薛定谔桥（带熵正则的最优传输）的联系。

Part C 与 D：控制与加速扩散采样。 在基础统一之后，转向高效利用扩散模型的实践方面。从扩散模型采样对应于求解微分方程，但通常计算昂贵。Part C 与 D 关注通过改进采样与学习型加速技术提升生成质量、可控性与效率。

Part C：从扩散模型采样。

• 引导生成（第 8 章）：分类器引导与无分类器引导等技术使生成过程能够以用户定义的目标或属性为条件；进而讨论如何用偏好数据进一步对齐扩散模型。
• 数值求解器加速（第 9 章）：采用高级数值求解器用更少步数近似反向过程，在保持质量的同时显著加速采样。

Part D：学习快速生成模型。

• 基于蒸馏的方法（第 10 章）：训练学生模型模仿已训练慢扩散模型（教师）的行为，用极少积分步（甚至一步）复现其采样轨迹或输出分布。
• 从零学习（第 11 章）：将扩散模型中的采样视为求解 ODE，直接学习解映射（流映射），无需教师，实现从噪声到数据或沿解轨迹的任意时刻到任意时刻的跳跃。

附录。 附录 A 提供扩散模型所依赖的微分方程速成；附录 B 介绍变量变换公式、福克–普朗克方程与连续性方程等概念；附录 C 介绍伊藤公式与吉尔萨诺夫定理；附录 D 汇集正文中命题与定理的证明。

涵盖与未涵盖内容。 我们追求持久性：从自上而下的角度，本书从单一原理出发——构造将简单先验运送到数据分布的连续时间动力学，并保证每一时刻的边际分布与从数据到噪声的给定前向过程所诱导的边际一致。由此发展出支持采样的随机与确定性流、引导轨迹的方法（引导）以及加速采样的方法（数值求解器），进而讨论扩散启发的快速生成器（蒸馏与流映射模型）。我们不试图全面综述扩散模型文献，也不罗列架构、训练实践、超参数、方法间的经验比较、数据集与排行榜、领域或模态应用、系统级部署、大规模训练配方或硬件工程；这些主题变化快，更适合由专题综述、开源仓库与实现指南承担。

符号说明

数与数组

• $a$ 标量
• $\mathbf{a}$ 列向量（如 $\mathbf{a} \in \mathbb{R}^D$）
• $A$ 矩阵（如 $A \in \mathbb{R}^{m \times n}$）
• $A^\top$ $A$ 的转置
• $\mathrm{Tr}(A)$ $A$ 的迹
• $I_D$ $D\times D$ 单位矩阵
• $I$ 单位矩阵（维数由上下文给出）
• $\mathrm{diag}(\mathbf{a})$ 对角元为 $\mathbf{a}$ 的对角矩阵
• $\phi, \theta$ 可学习神经网络参数
• $\phi^\times, \theta^\times$ 训练后的参数（推理时固定）
• $\phi^*, \theta^*$ 优化问题的最优参数

微积分

• $\frac{\partial y}{\partial x}$ $y$ 对 $x$ 的偏导（按分量）
• $\frac{dy}{dx}$ 或 $Dy(x)$ $y$ 对 $x$ 的（Fréchet）全导数
• $\nabla_x y$ 标量 $y:\mathbb{R}^D\to\mathbb{R}$ 的梯度（$\mathbb{R}^D$ 中的列向量）
• $\frac{\partial F}{\partial x}$ 或 $\nabla_x F$ $F:\mathbb{R}^n\to\mathbb{R}^m$ 的雅可比矩阵（形状 $m\times n$）
• $\nabla\cdot y$ 向量场 $y:\mathbb{R}^D\to\mathbb{R}^D$ 的散度（标量）
• $\nabla_x^2 f(x)$ 或 $H(f)(x)$ $f:\mathbb{R}^D\to\mathbb{R}$ 的 Hessian（形状 $D\times D$）
• $\int f(x)\,dx$ $f$ 在 $x$ 定义域上的积分

概率与信息论

• $p(a)$ 连续向量 $a$ 上的密度/分布
• $p_{\mathrm{data}}$ 数据分布
• $p_{\mathrm{prior}}$ 先验分布（如标准正态）
• $p_{\mathrm{src}}$ 源分布
• $p_{\mathrm{tgt}}$ 目标分布
• $a \sim p$ 随机向量 $a$ 服从分布 $p$
• $\mathbb{E}_{x\sim p}[f(x)]$ $f(x)$ 在 $p(x)$ 下的期望
• $\mathbb{E}[f(x)|z]$ 或 $\mathbb{E}_{x\sim p(\cdot|z)}[f(x)]$ 给定 $z$ 时 $f(x)$ 的条件期望
• $\mathrm{Var}(f(x))$ 在 $p(x)$ 下的方差
• $\mathrm{Cov}(f(x),g(x))$ 在 $p(x)$ 下的协方差
• $D_{\mathrm{KL}}(p\|q)$ 从 $q$ 到 $p$ 的 Kullback–Leibler 散度
• $\epsilon \sim \mathcal{N}(0,I)$ 标准正态样本
• $\mathcal{N}(x;\mu,\Sigma)$ 均值为 $\mu$、协方差为 $\Sigma$ 的关于 $x$ 的高斯分布

约定：随机向量与其实现值使用同一符号；在深度学习和生成建模中常见，以保持记号简洁。含义由上下文确定。例如在 $p(x)$ 中，$x$ 为哑变量，表示作为输入函数的分布或密度，故 $p(x)$ 指函数形式而非在某个具体样本处的取值；若指在给定点处的取值，则另行说明。条件表达式 $p(x|y)$ 等依上下文理解（固定 $y$ 则为 $x$ 的密度，固定 $x$ 则为 $y$ 的函数）。条件期望 $\mathbb{E}[f(x)|z]$ 表示关于 $z$ 的函数；对具体取值写作 $\mathbb{E}[f(x)|Z=z]$ 或 $\mathbb{E}_{x\sim p(\cdot|z)}[f(x)]$。

Part A 深度生成建模导论

第 1 章 深度生成建模

凡我不能创造的，我就不能理解。
——理查德·费曼

深度生成模型（DGM）是学习高维数据（如图像、文本、音频）上概率分布的神经网络，从而能生成与数据集相似的新样本。我们用 $p_\phi$ 表示模型分布，$p_{\mathrm{data}}$ 表示数据分布。给定有限数据集，通过最小化衡量 $p_\phi$ 与 $p_{\mathrm{data}}$ 差距的损失来拟合 $\phi$。训练后，生成即运行模型的采样过程得到 $x \sim p_\phi$（密度 $p_\phi(x)$ 是否可直接计算取决于模型类型）。模型质量由生成样本及其统计量与 $p_{\mathrm{data}}$ 的匹配程度以及任务或感知指标来评判。

本章建立这些思想背后的数学与概念基础：1.1 节形式化问题，1.2 节介绍代表性模型类，1.3 节给出实用分类。

1.1 什么是深度生成建模？

DGM 的输入是来自未知且复杂分布 $p_{\mathrm{data}}$ 的大量真实样本（如图像、文本），输出是参数化近似分布 $p_\phi$ 的已训练神经网络。目标有二：

1. 逼真生成：生成与真实数据难以区分的新颖、逼真样本。
2. 可控生成：对生成过程实现细粒度、可解释的控制。

本节介绍 DGM 的基本概念与动机，为后续数学框架与实践应用的深入讨论做准备。

1.1.1 数学设定

假设我们能获得从潜在复杂数据分布 $p_{\mathrm{data}}(x)$ 中独立同分布（i.i.d.）抽取的有限样本集。

DGM 的目标。 主要目标是从有限数据集中学习一个可处理的概率分布。这些数据点被视为从未知且复杂的真实分布 $p_{\mathrm{data}}(x)$ 中抽样得到；由于 $p_{\mathrm{data}}(x)$ 形式未知，无法直接从中采样。因此核心挑战是构建一个足够近似该分布的模型，以支持生成新的逼真样本。为此，DGM 用深度神经网络参数化模型分布 $p_\phi(x)$，其中 $\phi$ 为可训练参数。训练目标是找到最优参数 $\phi^*$，使模型分布 $p_\phi(x)$ 与真实数据分布 $p_{\mathrm{data}}(x)$ 之间的散度最小。概念上：

当 $p_{\phi^*}(x)$ 充分近似 $p_{\mathrm{data}}(x)$ 时，可作为生成新样本和评估概率值的代理。该模型 $p_\phi(x)$ 常被称为生成模型。

DGM 的能力。 一旦有了数据分布的代理 $p_\phi(x)$，即可通过从 $p_\phi(x)$ 的蒙特卡洛采样等方法生成任意数量的新数据点，并可对任意给定样本 $x'$ 计算 $p_\phi(x')$ 作为其概率（或似然）。

DGM 的训练。 通过最小化散度 $D(p_{\mathrm{data}}, p_\phi)$ 学习模型族 $\{p_\phi\}$ 的参数 $\phi$，即：

由于 $p_{\mathrm{data}}$ 未知，实用的 $D$ 必须能从 $p_{\mathrm{data}}$ 的 i.i.d. 样本高效估计。在容量足够时，$p_{\phi^*}$ 可充分近似 $p_{\mathrm{data}}$。

前向 KL 与极大似然估计（MLE）。 常用选择是（前向）Kullback–Leibler 散度：

它不对称，即 $D_{\mathrm{KL}}(p_{\mathrm{data}}\|p_\phi) \neq D_{\mathrm{KL}}(p_\phi\|p_{\mathrm{data}})$。最小化 $D_{\mathrm{KL}}(p_{\mathrm{data}}\|p_\phi)$ 会促使模式覆盖：若存在正测度集 $A$ 满足 $p_{\mathrm{data}}(A)>0$ 但对 $x\in A$ 有 $p_\phi(x)=0$，则被积函数在 $A$ 上含 $\log(p_{\mathrm{data}}(x)/0)=+\infty$，故 $D_{\mathrm{KL}}=+\infty$。因此最小化前向 KL 会迫使模型在数据有支撑的地方都赋予概率。

尽管数据密度 $p_{\mathrm{data}}(x)$ 无法显式计算，前向 KL 可分解为：

其中 $H(p_{\mathrm{data}}) := -\mathbb{E}_{x\sim p_{\mathrm{data}}}[\log p_{\mathrm{data}}(x)]$ 为数据分布的熵，与 $\phi$ 无关。因此有：

引理 1.1.1（最小化 KL ⇔ MLE）

实践中用来自 $p_{\mathrm{data}}$ 的 i.i.d. 样本 $\{x^{(i)}\}_{i=1}^N$ 的蒙特卡洛估计代替总体期望，得到经验 MLE 目标：

通过小批量随机梯度优化；不需要计算 $p_{\mathrm{data}}(x)$。

Fisher 散度。 Fisher 散度是（基于分数的）扩散建模中的重要概念（见第 3 章）。对两分布 $p$ 与 $q$，定义为：

它衡量分数函数 $\nabla_x \log p(x)$ 与 $\nabla_x \log q(x)$（指向更高概率区域的向量场）之间的差异。简言之，$D_F(p\|q)\geq 0$，当且仅当 $p=q$ 几乎处处成立时取等。它对归一化常数不变（分数只依赖对数密度的梯度），并构成分数匹配（见式 (3.1.3)(3.2.1)）的基础：一种学习对数密度梯度以用于生成（基于分数的模型）的方法。此时数据分布 $p=p_{\mathrm{data}}$ 为目标，模型 $q=p_\phi$ 被训练使其分数场与数据一致。

除 KL 之外。 尽管 KL 散度是最常用的分布差异度量，还有其他选择。不同散度对应不同的几何或统计差异概念，进而影响学习算法的优化动态。一大类是 $f$-散度（Csiszár, 1963）：

其中 $f:\mathbb{R}_+\to\mathbb{R}$ 为凸函数。例如：$f(u)=u\log u$ 对应前向 KL；$f(u)=\frac{1}{2}[u\log u - (u+1)\log\frac{1+u}{2}]$ 对应 Jensen–Shannon 散度 $D_{\mathrm{JS}}$；$f(u)=\frac{1}{2}|u-1|$ 对应全变差 $D_{\mathrm{TV}}$。直观上，JS 散度给出对称、平滑的度量并避免 KL 的无界惩罚（后面会看到它有助于理解 GAN）；全变差则刻画两分布间可能的最大概率差。另一视角来自最优传输（第 7 章），其代表是 Wasserstein 距离：衡量将概率质量从一分布搬到另一分布的最小成本，依赖样本空间几何，在 $p$ 与 $q$ 支撑不交时仍有意义。

1.1.2 分布建模的挑战

为建模复杂数据分布，可用参数为 $\phi$ 的神经网络参数化概率密度 $p_{\mathrm{data}}$，得到模型 $p_\phi$。要使 $p_\phi$ 为合法概率密度，需满足：(i) 非负性 $p_\phi(x)\geq 0$；(ii) 归一化 $\int p_\phi(x)\,dx=1$。网络可对输入 $x$ 输出实标量 $E_\phi(x)\in\mathbb{R}$。要将其解释为密度，需经变换满足 (i)(ii)。一种做法是视 $E_\phi:\mathbb{R}^D\to\mathbb{R}$ 定义未归一化密度，再显式施加这两条性质。

第一步：保证非负。 对网络输出施加正函数（如指数）得到 $\tilde{p}_\phi(x)=\exp(E_\phi(x))$。
第二步：归一化。 除以全空间积分得到 $p_\phi(x)=\tilde{p}_\phi(x)/Z(\phi)$，其中 $Z(\phi):=\int \exp(E_\phi(x'))\,dx'$ 为归一化常数（配分函数）。对多数高维问题，计算 $Z(\phi)$ 的积分是难解的，这一难解性是推动多种深度生成模型发展的核心问题。下面介绍几种主流 DGM，它们各自以不同方式规避或降低计算归一化常数的成本。

1.2 主流深度生成模型

生成建模的核心挑战是学习能捕捉高维数据丰富结构的表达概率模型。不同建模策略在可处理性、表达力与训练效率之间做出不同权衡。

能量模型（EBM）。 EBM 通过能量函数 $E_\phi(x)$ 定义分布：$p_\phi(x) := \frac{1}{Z(\phi)}\exp(-E_\phi(x))$，$Z(\phi)=\int \exp(-E_\phi(x))\,dx$。训练通常最大化数据对数似然，但需处理配分函数难解带来的计算问题。后续章节将看到，扩散模型通过从对数密度的梯度生成数据，不依赖归一化常数，从而绕过配分函数计算。

自回归模型（AR）。 深度自回归模型用概率链式法则将联合分布分解为条件概率的乘积：$p_{\mathrm{data}}(x)=\prod_{i=1}^D p_\phi(x_i|x_{<i})$。每个条件 $p_\phi(x_i|x_{<i})$ 由神经网络（如 Transformer）参数化；每项本身已归一化，故全局归一化平凡。训练通过最大化精确似然（或等价地最小化负对数似然）进行。AR 具有强密度估计与精确似然，但顺序结构限制采样速度与顺序灵活性。

变分自编码器（VAE）。 VAE 引入潜变量 $z$ 捕捉数据 $x$ 的隐藏结构，学习编码器 $q_\theta(z|x)$ 与解码器 $p_\phi(x|z)$，并最大化对数似然的可处理下界——证据下界（ELBO）：
$L_{\mathrm{ELBO}} = \mathbb{E}_{q_\theta(z|x)}[\log p_\phi(x|z)] - D_{\mathrm{KL}}(q_\theta(z|x)\|p_{\mathrm{prior}}(z))$。第一项促进重建，第二项使潜变量接近简单先验。VAE 为结合神经网络与潜变量模型提供了原理性方法，但也存在样本模糊、编码器忽略潜变量等训练问题，并为后来的扩散模型奠定了基础。

归一化流（NF）。 经典流模型（如 NF、神经 ODE）旨在通过可逆映射 $f_\phi$ 在简单潜分布 $z$ 与复杂数据分布 $x$ 之间建立双射，并利用密度的变量变换公式实现 MLE：$\log p_\phi(x)=\log p(z)+\log\left|\det\frac{\partial f_\phi^{-1}(x)}{\partial x}\right|$。NF 通过可逆变换与可处理雅可比行列式显式建模归一化密度。但 NF 常需苛刻的架构以保证双射，神经 ODE 则可能因求解 ODE 的开销而训练低效。

生成对抗网络（GAN）。 GAN 由生成器 $G_\phi$ 与判别器 $D_\zeta$ 对抗。目标为 $\min_{G_\phi}\max_{D_\zeta} \mathbb{E}_{x\sim p_{\mathrm{data}}}[\log D_\zeta(x)] + \mathbb{E}_{z\sim p_{\mathrm{prior}}}[\log(1-D_\zeta(G_\phi(z)))]$。GAN 不定义显式密度，完全绕过似然估计。在散度视角下，最优判别器下生成器最小化的是 $2D_{\mathrm{JS}}(p_{\mathrm{data}}\|p_{G_\phi})-\log 4$。GAN 训练以不稳定著称，但后来作为辅助组件被用于增强扩散模型等。

1.3 建模的分类

DGM 的建模策略范围很广。一个基本区分在于模型如何参数化数据分布——是显式还是隐式指定 $p_\phi(x)$，与训练目标无关。

• 显式模型：通过可处理或近似可处理的密度/质量函数直接参数化 $p_\phi(x)$，如 AR、NF、VAE、DM（或可处理界）。
• 隐式模型：仅通过采样过程指定分布，通常为 $x=G_\phi(z)$，$z\sim p_{\mathrm{prior}}$，此时 $p_\phi(x)$ 无闭式甚至未定义。

与扩散模型的联系。 这些经典 DGM 族展示了建模复杂分布的互补策略，也为理解扩散模型提供了指导。扩散方法从多种视角继承思想：通过变分训练目标与 VAE 相连，通过学习对数密度梯度（与能量函数紧密相关）的分数匹配与 EBM 相连，通过连续时间变换与 NF 相连。为后续扩散方法打基础，我们将重点放在三个核心范式：VAE（2.1 节）、EBM（3.1 节）、NF（5.1 节）。

1.4 小结

本章建立了深度生成建模的基础概念：目标是学习可处理的模型分布 $p_\phi$ 以近似未知的复杂数据分布 $p_{\mathrm{data}}$；核心难点是归一化常数 $Z(\phi)$ 的计算难解。为规避此问题，发展了多种 DGM（EBM、AR、VAE、NF、GAN），可分为显式（定义可处理密度）与隐式（仅通过采样定义分布）。其中 VAEs、EBMs 与 NFs 是本书关注的扩散模型的三个概念起源：Part B 将从变分视角（第 2 章，VAE → DDPM）、基于分数的视角（第 3–4 章，EBM → NCSN → Score SDE）、基于流的视角（第 5 章，NF → Flow Matching）追溯扩散模型的演化，并在第 6 章统一这些表述。

Part B 扩散模型的起源与基础

第 2 章 变分视角：从 VAE 到 DDPM

本章从变分视角看待扩散模型。我们从变分自编码器（VAE）出发：用潜变量表示数据，通过最大化对数似然的可处理下界（ELBO）训练；编码器将观测映射到潜变量，解码器将潜变量映射回观测。在此基础上，层次化 VAE（HVAE）堆叠多层潜变量以捕捉多尺度结构。去噪扩散概率模型（DDPM）沿用同一模板：编码器固定为将数据逐步变为噪声的前向加噪过程，训练只学习在逐步去噪中反转这条路径的解码器。因此，VAE、层次 VAE 与扩散模型都在由变分界定义的似然代理上优化，为本章方法提供了共同基础。

2.1 变分自编码器

编解码的概率构造。 VAE 区分观测变量 $x$ 与潜变量 $z$，假设每个观测 $x$ 由从简单先验 $z\sim p_{\mathrm{prior}}:=\mathcal{N}(0,I)$ 采样的 $z$ 生成，并定义解码器分布 $p_\phi(x|z)$ 将 $z$ 映射回数据。边际似然为 $p_\phi(x)=\int p_\phi(x|z)p(z)\,dz$。对表达力强的非线性解码器，对 $z$ 的积分难解，故直接 MLE 不可行。给定观测 $x$，后验 $p_\phi(z|x)=p_\phi(x|z)p(z)/p_\phi(x)$ 的分母含 $p_\phi(x)$，同样难解。VAE 的「变分」做法是用可学习的编码器 $q_\theta(z|x)$ 作为后验的可处理近似：$q_\theta(z|x)\approx p_\phi(z|x)$。

ELBO 训练。 对任意 $x$，有 $\log p_\phi(x) \geq L_{\mathrm{ELBO}}(\theta,\phi;x)$，其中：

重建项鼓励从 $z$ 准确恢复 $x$；KL 项使 $q_\theta(z|x)$ 接近先验 $p(z)$，使潜空间光滑、便于从先验采样后解码。信息论上，$\log p_\phi(x)-L_{\mathrm{ELBO}}=D_{\mathrm{KL}}(q_\theta(z|x)\|p_\phi(z|x))$，即推理误差；最大化 ELBO 即减小该误差。

高斯 VAE。 常用设定为编码器 $q_\theta(z|x)=\mathcal{N}(z;\mu_\theta(x),\mathrm{diag}(\sigma_\theta^2(x)))$，解码器 $p_\phi(x|z)=\mathcal{N}(x;\mu_\phi(z),\sigma^2 I)$。此时 ELBO 中的重建项化为 $\mathbb{E}_{q_\theta(z|x)}[\log p_\phi(x|z)] = -\frac{1}{2\sigma^2}\mathbb{E}_{q_\theta(z|x)}[\|x-\mu_\phi(z)\|^2]+C$，KL 项因高斯假设有闭式，训练等价于最小化带正则的重建损失。

标准 VAE 的缺陷。 典型问题是生成模糊。在固定高斯编码器下，优化 ELBO 等价于最小化 $\mathbb{E}[\|x-\mu(z)\|^2]$，最优解码器为 $\mu^*(z)=\mathbb{E}_{q_{\mathrm{enc}}(x|z)}[x]$。当不同 $x\neq x'$ 被映射到潜空间重叠区域时，$\mu^*(z)$ 会对多个不同输入取平均，导致模糊。

（可选）从标准 VAE 到层次 VAE。 层次 VAE（HVAE）引入多层潜变量 $z_1,\ldots,z_L$，联合分布为 $p_\phi(x,z_{1:L})=p_\phi(x|z_1)\prod_{i=2}^L p_\phi(z_{i-1}|z_i)p(z_L)$，编码器采用自底向上的马尔可夫分解 $q_\theta(z_{1:L}|x)=q_\theta(z_1|x)\prod_{i=2}^L q_\theta(z_i|z_{i-1})$。层次 ELBO 包含重建项与各层生成条件与变分近似之间的 KL。堆叠层次使模型能由粗到细逐步生成，更易捕捉高维数据的复杂结构。单纯加深平坦 VAE 的网络无法解决两方面的根本限制：变分族仍为单峰高斯，无法匹配多峰后验；解码器过强时易出现后验坍塌（$q_\theta(z|x)\to p(z)$，$z$ 与 $x$ 无关）。层次化通过在各层对齐推理与生成条件、分散信息惩罚与局部化学习信号来改善。扩散模型继承 HVAE 的渐进结构，但固定编码器、只学习生成反转，从而获得更好的稳定性与生成质量。

2.2 变分视角：DDPM

去噪扩散概率模型（DDPM）是扩散建模的基石，同样在变分框架下运作，但做了关键改进：

• 前向过程（固定编码器）：通过转移核 $p(x_i|x_{i-1})$ 在多步中逐步注入高斯噪声，将数据腐蚀为各向同性高斯（纯噪声）；编码器固定、不学习。
• 反向去噪过程（可学习解码器）：神经网络学习参数化分布 $p_\phi(x_{i-1}|x_i)$ 逐步去噪，从纯噪声出发迭代去噪生成逼真样本。每一步去噪是比一步从零生成更易处理的任务。

通过固定编码器并将学习集中在渐进生成轨迹上，DDPM 取得了很好的稳定性与表达力。

前向过程（固定编码器）。 前向为固定的高斯转移核：

即 $x_i = \alpha_i x_{i-1} + \beta_i \epsilon_i$，$\alpha_i=\sqrt{1-\beta_i^2}$，$\epsilon_i\sim\mathcal{N}(0,I)$。$\{\beta_i\}_{i=1}^L$ 为预设的单调递增噪声调度。由递推可得给定 $x_0$ 时 $x_i$ 的分布：

因此可直接从 $x_0$ 采样 $x_i$：$x_i = \bar{\alpha}_i x_0 + \sqrt{1-\bar{\alpha}_i^2}\,\epsilon$，$\epsilon\sim\mathcal{N}(0,I)$。

反向去噪过程（可学习解码器）。 核心问题是：能否精确计算或有效近似反向转移核 $p(x_{i-1}|x_i)$？我们引入可学习模型 $p_\phi(x_{i-1}|x_i)$，目标是最小化 $\mathbb{E}_{p_i(x_i)}[D_{\mathrm{KL}}(p(x_{i-1}|x_i)\|p_\phi(x_{i-1}|x_i))]$。直接计算 $p(x_{i-1}|x_i)$ 需贝叶斯公式中的边际 $p_i(x_i)$、$p_{i-1}(x_{i-1})$，它们依赖未知的 $p_{\mathrm{data}}$，故难解。

通过条件化克服难解性。 DDPM 的关键思路是：对干净数据样本 $x_0$ 做条件化，将难解核变为可处理的：

由前向的马尔可夫性与高斯性，$p(x_{i-1}|x_i,x_0)$ 为高斯且有闭式（见下文引理 2.2.2）。定理 2.2.1 表明：最小化边际 KL 与最小化该条件 KL 在 $\phi$ 上等价（差一与 $\phi$ 无关的常数），且最优 $p^*(x_{i-1}|x_i)=p(x_{i-1}|x_i)$。

引理 2.2.2（反向条件转移核）。 $p(x_{i-1}|x_i,x_0)$ 为高斯：

其中 $\mu(x_i,x_0,i) := \frac{\bar{\alpha}_{i-1}\beta_i^2}{1-\bar{\alpha}_i^2}x_0 + \frac{(1-\bar{\alpha}_{i-1}^2)\alpha_i}{1-\bar{\alpha}_i^2}x_i$，$\sigma^2(i) := \frac{1-\bar{\alpha}_{i-1}^2}{1-\bar{\alpha}_i^2}\beta_i^2$。

反向核的建模与损失。 DDPM 设 $p_\phi(x_{i-1}|x_i) := \mathcal{N}(x_{i-1}; \mu_\phi(x_i,i), \sigma^2(i)I)$，扩散损失为：

因两者均为高斯且方差固定，可简化为 $\mathcal{L}_{\mathrm{diffusion}} = \sum_i \frac{1}{2\sigma^2(i)}\|\mu_\phi(x_i,i)-\mu(x_i,x_0,i)\|_2^2 + C$。对数据求平均并略去常数得 DDPM 训练目标 $\mathcal{L}_{\mathrm{DDPM}}(\phi)$。

ε-预测与简化损失。 前向有 $x_i = \bar{\alpha}_i x_0 + \sqrt{1-\bar{\alpha}_i^2}\,\epsilon$。将真实均值 $\mu(x_i,x_0,i)$ 用 $\epsilon$ 表示后，可改用网络 $\epsilon_\phi(x_i,i)$ 直接预测噪声，即：

则 $\|\mu_\phi-\mu\|^2 \propto \|\epsilon_\phi-\epsilon\|^2$。实践中常去掉权重，得到广泛使用的简化损失：

其中 $x_i = \bar{\alpha}_i x_0 + \sqrt{1-\bar{\alpha}_i^2}\,\epsilon$。$\mathcal{L}_{\mathrm{DDPM}}$ 与 $\mathcal{L}_{\mathrm{simple}}$ 具有相同的最优解：$\epsilon^*(x_i,i)=\mathbb{E}[\epsilon|x_i]$。x-预测是另一种等价参数化：网络 $x_\phi(x_i,i)$ 预测干净样本 $x_0$，最优解为 $x^*(x_i,i)=\mathbb{E}[x_0|x_i]$；与 ε-预测通过前向关系 $x_i = \bar{\alpha}_i x_\phi + \sqrt{1-\bar{\alpha}_i^2}\,\epsilon_\phi$ 相联系。

DDPM 的 ELBO。 生成联合分布为 $p_\phi(x_0,x_{1:L}) := p_\phi(x_0|x_1)\cdots p_\phi(x_{L-1}|x_L)p_{\mathrm{prior}}(x_L)$，数据边际为 $p_\phi(x_0)=\int p_\phi(x_0,x_{1:L})\,dx_{1:L}$。定理 2.2.3：$-\log p_\phi(x_0) \leq -L_{\mathrm{ELBO}}(x_0;\phi) := L_{\mathrm{prior}} + L_{\mathrm{recon.}} + \mathcal{L}_{\mathrm{diffusion}}$。其中 $L_{\mathrm{prior}}=D_{\mathrm{KL}}(p(x_L|x_0)\|p_{\mathrm{prior}})$，可通过噪声调度使其近似为 0；$L_{\mathrm{recon.}}$ 可用蒙特卡洛估计；$\mathcal{L}_{\mathrm{diffusion}}$ 即各步条件匹配。从数据处理不等式角度，$D_{\mathrm{KL}}(p_{\mathrm{data}}(x_0)\|p_\phi(x_0)) \leq D_{\mathrm{KL}}(p(x_0,x_{1:L})\|p_\phi(x_0,x_{1:L}))$。扩散的变分视角符合 HVAE 模板：编码器为固定前向加噪链，潜变量 $x_{1:T}$ 与数据同维，无逐层 KL，目标分解为从大到小噪声（由粗到细）的良态去噪子问题。

采样。 训练得到 $\epsilon_{\phi^\times}(x_i,i)$ 后，从 $x_L\sim p_{\mathrm{prior}}=\mathcal{N}(0,I)$ 出发，对 $i=L,\ldots,1$ 按：

递归采样直至得到 $x_0$。等价地可先得到干净预测 $x_{\phi^\times}(x_i,i) = (x_i - \sqrt{1-\bar{\alpha}_i^2}\,\epsilon_{\phi^\times})/\bar{\alpha}_i$，再在干净预测与 $x_i$ 之间插值并加噪声。即使 $x_{\phi^\times}$ 为最优去噪器（条件期望），也只能预测给定 $x_i$ 下的平均干净样本，高噪声时易模糊。扩散采样从高噪声到低噪声逐步细化；DDPM 采样慢是因为需要 $O(L)$ 步顺序网络评估（常需约 1000 步），第 4 章将从微分方程角度给出更原理性的加速思路。

2.3 小结

本章从变分视角追溯扩散模型的起源：从 VAE（通过 ELBO 学习数据与潜空间之间的概率映射）到层次 VAE（多层潜变量、由粗到细生成），再到 DDPM。DDPM 将编码器固定为逐步加噪过程、只学习反向去噪，从而规避 HVAE 的训练不稳定，并通过条件化策略将难解的边际目标转化为可处理的条件目标。下一章将转向基于能量模型的分数视角：从学习去噪转移概率 $p_\phi(x_{i-1}|x_i)$ 转为直接学习数据对数密度的梯度（分数函数）；该视角源于 EBM，催生 NCSN，并揭示 DDPM 的 ε-预测与分数函数之间的深刻数学等价性，为后续统一连续时间框架奠定另一块基石。

第 3 章 基于分数的视角：从 EBM 到 NCSN

前文从变分角度追溯了扩散模型；本章转向第二个同样根本的视角：能量模型（EBM）。EBM 用能量景观表示分布——数据处能量低、其余处高。采样通常依赖朗之万动力学，沿该景观的梯度将样本推向高密度区域；该梯度场即分数，指向概率更高的方向。

核心观察是：仅掌握分数就足以做生成——无需计算难解的归一化常数即可将样本推向高概率区域。基于分数的扩散模型直接建立在这一思想上：不仅考虑干净数据分布，而是考虑一族经高斯噪声扰动后的分布，其分数更易近似；学习这些分数得到一族向量场，逐步将带噪样本引导回数据，从而把生成变成渐进去噪。

3.1 能量模型

用能量函数建模分布。 对 $x\in\mathbb{R}^D$，EBM 通过能量函数 $E_\phi(x)$ 定义密度：

能量越低概率越高；$Z_\phi$ 为配分函数保证归一化。训练时在“坏”数据处提高能量、在“好”数据处降低能量，概率质量在全空间重新分配。

MLE 训练的困难。 理论上可用极大似然训练（式 (1.1.2)），但高维下计算 $\log Z_\phi$ 及其梯度难解，因此需要要么近似该项（如对比散度），要么通过分数匹配完全避开配分函数。

分数的定义与动机。 对密度 $p(x)$，分数函数为 $s(x) := \nabla_x \log p(x)$。它构成指向高概率区域的向量场。建模分数而非密度的好处：(1) 与归一化常数无关：$\nabla_x \log p = \nabla_x \log \tilde{p}$（$Z$ 与 $x$ 无关）；(2) 完整表示：分数唯一决定分布（差常数），且对生成建模往往更易处理。

分数匹配训练 EBM。 分数匹配通过对齐模型分数与数据分数来训练，而不需要 $Z_\phi$：

数据分数虽不可得，但分部积分可得到仅含能量及其导数的等价形式（见命题 3.2.1）：

缺点是需要二阶导数，高维时计算昂贵；本章后面会讨论如何缓解。

用分数做朗之万采样。 离散时间朗之万更新为

步长 $\eta\to 0$ 时收敛到连续时间朗之万 SDE：

其中 $w(t)$ 为标准布朗运动。在适当正则性下，$x(t)$ 的分布会指数收敛到 $p_\phi$，因此可通过模拟该 SDE 采样。朗之万采样在复杂多峰高维分布上混合慢，这促使需要更结构化、带引导的采样方法（如多噪声水平的分数网络）。

3.2 从能量模型到基于分数的生成模型

既然朗之万采样只需要分数，可以用神经网络直接学习分数场 $s_\phi(x)\approx \nabla_x \log p_{\mathrm{data}}(x)$，而不必通过能量和配分函数。

3.2.1 用分数匹配训练

分数匹配。 为从 $p_{\mathrm{data}}$ 的样本近似分数函数 $s(x)=\nabla_x \log p_{\mathrm{data}}(x)$，直接用神经网络参数化的向量场 $s_\phi(x)$ 近似：$s_\phi(x)\approx s(x)$。分数匹配通过最小化真实分数与估计分数之间的均方误差来拟合该向量场：

可处理的分数匹配。 该目标看似不可行，因为作为回归目标的真实分数 $s(x)$ 未知。Hyvärinen 与 Dayan (2005) 证明：通过分部积分可得到仅依赖模型 $s_\phi$ 与数据样本的等价目标，无需真实分数。这一关键结果即：

命题 3.2.1（Hyvärinen 的可处理分数匹配形式）
$L_{\mathrm{SM}}(\phi) = \tilde{L}_{\mathrm{SM}}(\phi) + C$，其中

$C$ 为与 $\phi$ 无关的常数；最优解为 $s^*(\cdot)=\nabla_x \log p(\cdot)$。

用式 (3.2.2) 的等价目标即可仅从 $p_{\mathrm{data}}$ 的观测样本训练分数模型 $s_\phi(x)$，无需真实分数函数。

式 (3.2.2) 的直观。 替代目标 $\tilde{L}_{\mathrm{SM}}(\phi)$ 可由两项理解：范数项 $\frac{1}{2}\|s_\phi(x)\|^2$ 在 $p_{\mathrm{data}}$ 大的区域压制分数，使这些点成为驻点；散度项 $\mathrm{Tr}(\nabla_x s_\phi(x))$ 倾向于取负值，使这些驻点成为吸引子（汇）。两者共同将高密度区域塑造成分数场的稳定收缩点。更具体地：(1) 范数项导致驻点：期望在 $p_{\mathrm{data}}$ 下取，故高密度区域对损失贡献最大，范数项在这些高概率区域驱动 $s_\phi(x)\to 0$，即这些位置成为驻点。(2) 场近似为梯度时的凹性：若 $s_\phi=\nabla_x u$（$u:\mathbb{R}^D\to\mathbb{R}$），则 $\nabla\cdot s_\phi=\mathrm{Tr}(\nabla_x^2 u)$。在驻点 $x^*$ 处若 Hessian $\nabla_x^2 u(x^*)$ 负定，则 $u$ 在 $x^*$ 局部凹、对数密度在该处取严格局部极大；此时 $\mathrm{Tr}(\nabla_x^2 u)<0$，学到的场具负散度，驻点为汇，小扰动被拉回 $x^*$。

3.2.2 用朗之万动力学采样

最小化式 (3.2.2) 训练得到分数模型 $s_{\phi^\times}(x)$ 后，可用其替代真实分数进行朗之万采样：

$n=0,1,2,\ldots$，从 $x_0$ 初始化。与 EBM 情形式 (3.1.6) 一样，该递推正是连续时间朗之万 SDE $dx(t)=s_{\phi^\times}(x(t))\,dt+\sqrt{2}\,dw(t)$ 的 Euler–Maruyama 离散化；步长足够小时离散与连续形式一致，实践中可运行离散采样器或直接模拟 SDE。

3.2.3 引言：基于分数的生成模型

本章余下部分考察分数函数在现代扩散模型中的基础作用：分数函数最初为高效训练 EBM 而引入，已演变为新一代生成模型的核心组件。在此基础上，我们将探讨分数函数如何指导基于分数的扩散模型的理论表述与实现，为通过随机过程进行数据生成提供原理性框架。

3.3 去噪分数匹配

3.3.1 动机

式 (3.2.2) 的替代目标 $\tilde{L}_{\mathrm{SM}}(\phi)=\mathbb{E}_{x\sim p_{\mathrm{data}}}[\mathrm{Tr}(\nabla_x s_\phi(x))+\frac{1}{2}\|s_\phi(x)\|_2^2]$ 虽更可处理，仍需要计算雅可比矩阵的迹 $\mathrm{Tr}(\nabla_x s_\phi(x))$，最坏复杂度为 $O(D^2)$，限制了在高维数据上的可扩展性。

切片分数匹配与 Hutchinson 估计。 切片分数匹配用沿随机“切片”方向的方向导数平均替代迹；利用 Hutchinson 恒等式 $\mathrm{Tr}(A)=\mathbb{E}_u[u^\top A u]$ 可得仅用 JVP/VJP 即可高效计算的等价形式，无需显式大雅可比或 Hessian 矩阵。

从切片到去噪分数匹配。 切片分数匹配虽绕过雅可比，仍依赖原始数据分布；对位于低维流形上的数据（如图像），$\nabla_x \log p_{\mathrm{data}}(x)$ 可能未定义或不稳定，且仅在观测点约束向量场，在邻域内控制较弱。更稳健的做法是去噪分数匹配（DSM）（Vincent, 2011），提供原理性且可扩展的解决方案。

3.3.2 训练

考虑式 (3.2.1) 的分数匹配损失，难点在于 $\nabla_x \log p_{\mathrm{data}}(x)$ 不可得。Vincent (2011) 的做法是条件化：通过已知的条件分布 $p_\sigma(\tilde{x}|x)$（尺度 $\sigma$）向数据 $x\sim p_{\mathrm{data}}$ 注入噪声，训练网络 $s_\phi(\tilde{x};\sigma)$ 近似扰动边际分布 $p_\sigma(\tilde{x})=\int p_\sigma(\tilde{x}|x)p_{\mathrm{data}}(x)\,dx$ 的分数，即最小化

虽然 $\nabla_{\tilde{x}}\log p_\sigma(\tilde{x})$ 一般难解，但对 $x\sim p_{\mathrm{data}}$ 做条件化可得到等价的、可处理的目标——去噪分数匹配（DSM）损失：

式 (3.3.2) 的最优解 $s^*$ 满足 $s^*(\tilde{x};\sigma)=\nabla_{\tilde{x}}\log p_\sigma(\tilde{x})$，也是式 (3.3.1) 的最优解。

定理 3.3.1（LSM 与 LDSM 的等价性）
对任意固定噪声尺度 $\sigma>0$，有 $L_{\mathrm{SM}}(\phi;\sigma)=L_{\mathrm{DSM}}(\phi;\sigma)+C$，$C$ 与 $\phi$ 无关；且两损失的最优解均满足 $s^*(\tilde{x};\sigma)=\nabla_{\tilde{x}}\log p_\sigma(\tilde{x})$（几乎处处）。这与 DDPM 中的定理 2.2.1 一样，体现了条件化技巧：通过条件化将难解损失变为可蒙特卡洛估计的可处理目标；类似思想也出现在基于流的视角（如 Flow Matching，5.2 节）。

特例：加性高斯噪声。 设对 $x\sim p_{\mathrm{data}}$ 加方差 $\sigma^2$ 的高斯噪声：$\tilde{x}=x+\sigma\epsilon$，$\epsilon\sim\mathcal{N}(0,I)$，即 $p_\sigma(\tilde{x}|x)=\mathcal{N}(\tilde{x};x,\sigma^2 I)$。此时条件分数有闭式：

故 DSM 损失简化为：