ELBO 与变分方法详解
一、动机:为什么需要 ELBO?
在隐变量生成模型中,观测 由隐变量 通过解码器 生成,先验为 。**边际似然(证据)**为:
- 理想:用最大似然估计(MLE)最大化 来学习解码器参数 。
- 障碍:积分对 在高维、非线性解码器下难以计算(intractable),直接 MLE 不可行。
- 变分思路:不直接算 ,而是构造一个可计算的下界,通过最大化该下界间接增大 。这个下界就是 ELBO(Evidence Lower BOund,证据下界)。
二、变分方法核心:近似后验
真实后验为:

