KNOWECON WIKI

ARTICLE

变分推断

变分推断（Variational Inference，简称VI）是一种用于近似复杂概率分布的计算方法，广泛应用于贝叶斯统计、机器学习和深度学习领域。其核心思想是通过优化一个参数化的近似分布来逼近真实的后验分布，从而将复杂的推理问题转化为一个可解的优化问题。变分推断的"变分"一词源于变分法，指通过优化泛函来寻找最优函数。与拉普拉斯近似等其他确定性方法不同，变分

浏览 3 更新 2025-10-26

变分推断（Variational Inference，简称VI）是一种用于近似复杂概率分布的计算方法，广泛应用于贝叶斯统计、机器学习和深度学习领域。其核心思想是通过优化一个参数化的近似分布来逼近真实的后验分布，从而将复杂的推理问题转化为一个可解的优化问题。变分推断的"变分"一词源于变分法，指通过优化泛函来寻找最优函数。与拉普拉斯近似等其他确定性方法不同，变分推断在整个分布空间上进行优化搜索，而非仅仅围绕后验众数进行局部展开，因此在高维和复杂依赖关系场景中往往能够获得更准确的近似结果。

背景与动机

在贝叶斯推断中，给定观测数据 x \mathbf{x} 和隐变量 z \mathbf{z} ，我们希望计算后验分布 p(z∣x) p(\mathbf{z} \mid \mathbf{x}) 。根据贝叶斯定理，后验分布正比于先验与似然的乘积：

p(z∣x)=p(x,z)p(x)=p(x∣z) p(z)∫p(x,z) dzp(\mathbf{z} \mid \mathbf{x}) = \frac{p(\mathbf{x}, \mathbf{z})}{p(\mathbf{x})} = \frac{p(\mathbf{x} \mid \mathbf{z}) \, p(\mathbf{z})}{\int p(\mathbf{x}, \mathbf{z}) \, d\mathbf{z}}

然而，当模型复杂或数据维度较高时，分母中的边际似然 p(x) p(\mathbf{x}) 涉及高维积分，解析解往往不存在或计算代价极高。变分推断正是为解决这一难题而提出的近似方法。

与马尔可夫链蒙特卡洛（MCMC）方法相比，变分推断采用确定性优化而非随机采样，通常在大规模数据集上具有更快的计算速度。MCMC能够保证渐近精确的后验估计，但计算开销大、收敛速度慢，且难以判断链是否已经混合充分；而变分推断虽然在近似上存在系统性偏差，但其速度优势使其特别适合处理海量数据和在线学习场景。此外，变分推断天然支持高效地计算近似后验的边际分布和期望，而这在MCMC中需要额外的采样步骤和存储开销。

核心原理：ELBO与KL散度

变分推断的基本框架是引入一个参数化的变分分布族 Q={qθ(z)} \mathcal{Q} = \{ q_{\theta}(\mathbf{z}) \} ，通过最小化该分布与真实后验分布之间的Kullback-Leibler（KL）散度来寻找最佳近似：

q∗(z)=arg⁡min⁡q(z)∈QKL(q(z)∥p(z∣x))q^{*}(\mathbf{z}) = \arg\min_{q(\mathbf{z}) \in \mathcal{Q}} \text{KL}(q(\mathbf{z}) \parallel p(\mathbf{z} \mid \mathbf{x}))

KL散度的定义为：

KL(q∥p)=Eq[log⁡q(z)p(z∣x)]=Eq[log⁡q(z)]−Eq[log⁡p(z∣x)]\text{KL}(q \parallel p) = \mathbb{E}_{q} \left[ \log \frac{q(\mathbf{z})}{p(\mathbf{z} \mid \mathbf{x})} \right] = \mathbb{E}_{q} [\log q(\mathbf{z})] - \mathbb{E}_{q} [\log p(\mathbf{z} \mid \mathbf{x})]

由于直接计算KL散度仍然需要棘手的后验分布 p(z∣x) p(\mathbf{z} \mid \mathbf{x}) ，实际优化的是与其等价的证据下界（Evidence Lower Bound, ELBO）：

ELBO(q)=Eq[log⁡p(x,z)]−Eq[log⁡q(z)]=log⁡p(x)−KL(q∥p)\text{ELBO}(q) = \mathbb{E}_{q} [\log p(\mathbf{x}, \mathbf{z})] - \mathbb{E}_{q} [\log q(\mathbf{z})] = \log p(\mathbf{x}) - \text{KL}(q \parallel p)

由于 log⁡p(x) \log p(\mathbf{x}) 是常数，最大化ELBO等价于最小化KL散度。ELBO由两项构成：第一项是期望对数联合概率，鼓励近似分布更好地解释数据；第二项是熵项，鼓励近似分布具有更大的不确定性，防止过拟合。ELBO的名称来源于其作为边际对数似然下界的性质，即 log⁡p(x)≥ELBO(q) \log p(\mathbf{x}) \geq \text{ELBO}(q) ，因此最大化ELBO同时也在收紧对模型证据的近似。从信息论视角看，最大化ELBO等价于在保持近似分布与真实后验接近的同时，尽可能提高模型对数据的解释能力。这一视角揭示了变分推断与期望最大化（EM）算法之间的深层联系——EM算法实际上是变分推断在隐变量后验精确可解时的特例。

均值场变分推断

最常见的变分分布族是均值场变分族（Mean-Field Variational Family），它假设隐变量之间相互独立，即联合分布可以分解为边际分布的乘积：

q(z)=∏i=1Mqi(zi)q(\mathbf{z}) = \prod_{i=1}^{M} q_{i}(z_{i})

在此假设下，可以通过坐标上升法（Coordinate Ascent）迭代优化每个因子 qi(zi) q_{i}(z_{i}) ，同时固定其他因子不动，得到最优解的闭合形式：

qi∗(zi)∝exp⁡(E−i[log⁡p(zi∣z−i,x)])q_{i}^{*}(z_{i}) \propto \exp \left( \mathbb{E}_{-i} [\log p(z_{i} \mid \mathbf{z}_{-i}, \mathbf{x})] \right)

其中 E−i \mathbb{E}_{-i} 表示对其他所有隐变量取期望。这一算法称为坐标上升变分推断（Coordinate Ascent Variational Inference, CAVI）。均值场假设虽然在表达能力上有所限制，因为它忽略了隐变量之间的后验相关性，导致近似方差被系统性低估，但这一假设极大简化了计算复杂度，使其在主题模型（如LDA）、隐马尔可夫模型和高斯混合模型等经典模型中取得了广泛应用。为缓解均值场假设的局限性，结构化变分推断（Structured VI）通过保留部分依赖关系来在计算效率与近似质量之间取得更好的平衡。

随机变分推断

为应对大规模数据场景，随机变分推断（Stochastic Variational Inference, SVI）将随机优化引入变分推断框架。SVI利用自然梯度和随机子采样技术，每次迭代仅使用一小批数据即可更新变分参数，大大提高了可扩展性。SVI的理论基础是自然梯度在指数族分布中具有闭合形式的更新规则，且自然梯度方向不随参数化方式改变，具有参数化的不变性。这一特性使得SVI在主题模型和矩阵分解等大规模应用中表现出色，能够在极短的时间内处理数百万级别规模的数据集。

现代进展：黑盒与摊销方法

黑盒变分推断（Black-Box Variational Inference, BBVI）利用蒙特卡洛估计ELBO对变分参数的梯度，无需为每个新模型手动推导梯度公式。通过引入控制变量（Control Variates）和重参数化技巧（Reparameterization Trick）可以显著降低梯度估计的方差，提高训练稳定性。重参数化技巧将随机变量表示为确定性函数加噪声的形式，使梯度能够通过采样过程反向传播，是变分自编码器成功的关键。近年来，基于得分函数（Score Function）的梯度估计器和重参数化梯度估计器之间的优劣权衡一直是学术研究的热点。

摊销变分推断（Amortized Variational Inference）是变分自编码器（VAE）的核心组件。它用一个神经网络（编码器）将输入数据直接映射到变分参数，避免了为每个数据点独立优化参数的昂贵开销。摊销模型虽然引入了额外的近似误差（即摊销差距），但实现了高效的推断和跨实例的泛化能力，使得变分推断能够在大规模无监督学习和半监督学习中发挥关键作用。通过引入层次化隐变量结构（如HVAE）和自回归解码器，摊销变分推断在图像生成、文本建模和分子设计等任务中取得了令人瞩目的成果。

应用领域与展望

变分推断在主题建模、深度生成模型（VAE及其变体）、贝叶斯神经网络、推荐系统和计算生物学中有着广泛的应用。未来研究方向包括使用标准化流（Normalizing Flows）增强变分族的表达能力、发展隐式变分推断（Implicit Variational Inference）以放松对近似分布的显式假设，以及将VI与MCMC以互补方式混合（如利用变分分布作为MCMC的重要采样提议分布）。此外，基于分数的扩散模型与变分推断的交叉融合也正在成为一个充满活力的新兴研究方向。随着概率编程框架（如Pyro、TensorFlow Probability）的日益成熟，变分推断正逐渐成为现代数据科学家和机器学习工程师工具箱中的核心组件。

参考文献

  • Blei, D. M., Kucukelbir, A., \& McAuliffe, J. D. (2017). Variational inference: A review for statisticians. *Journal of the American Statistical Association*, 112(518), 859-877.
  • Jordan, M. I., Ghahramani, Z., Jaakkola, T. S., \& Saul, L. K. (1999). An introduction to variational methods for graphical models. *Machine Learning*, 37(2), 183-233.
  • Kingma, D. P., \& Welling, M. (2014). Auto-encoding variational bayes. *ICLR*.
  • Hoffman, M. D., Blei, D. M., Wang, C., \& Paisley, J. (2013). Stochastic variational inference. *Journal of Machine Learning Research*, 14(1), 1303-1347.