ELBO

ELBO 与变分方法详解

在隐变量生成模型中,观测 xx 由隐变量 zz 通过解码器 pϕ(xz)p_\phi(x|z) 生成,先验为 p(z)p(z)。**边际似然(证据)**为:

logpϕ(x)=logpϕ(xz)p(z)dz \log p_\phi(x) = \log \int p_\phi(x|z)\, p(z)\, dz
  • 理想:用最大似然估计(MLE)最大化 logpϕ(x)\log p_\phi(x) 来学习解码器参数 ϕ\phi
  • 障碍:积分对 zz 在高维、非线性解码器下难以计算(intractable),直接 MLE 不可行。
  • 变分思路:不直接算 logpϕ(x)\log p_\phi(x),而是构造一个可计算的下界,通过最大化该下界间接增大 logpϕ(x)\log p_\phi(x)。这个下界就是 ELBO(Evidence Lower BOund,证据下界)。

真实后验为:

SDE-ODE-离散-连续的转换

SDE 与 ODE 公式总览

本文整理:Flow(ODE)Diffusion(SDE)前向 / 反向动力学、密度演化方程,以及 SDE 与 ODE 的相互转换(保持相同边际分布 ptp_t)。约定:前向 = 数据 → 噪声/先验(tt 增加),反向 = 噪声/先验 → 数据(tt 减少或反向时间)。