贝叶斯模型选择

贝叶斯模型选择（Bayesian Model Selection）是贝叶斯统计框架下用于从一组候选模型中选择最适模型的理论与方法体系。其核心思想不是寻找"真实"模型——因为真实的数据生成过程往往是未知且无限复杂的——而是通过计算每个模型在观测数据下的后验概率，量化模型在数据解释与预测上的相对合理性。与频率学派依靠假设检验和信息准则的模型选择方式不同，贝叶斯模型选择天然地引入了先验信念，并自动惩罚模型复杂度，从而有效防止过拟合。

1. 理论基础

1.1 模型的后验概率

假设研究者面对 K 个候选模型 {M₁, M₂, ..., Mₖ}，每个模型 Mₖ 都对应一组参数 θₖ 和一个似然函数 p(y|θₖ, Mₖ)。在观测到数据 y 后，模型 Mₖ 的后验概率由贝叶斯定理给出：

P(Mₖ|y) = p(y|Mₖ) · P(Mₖ) / p(y)

其中 P(Mₖ) 是模型的先验概率，反映在观测数据之前研究者对各模型的初始信念；p(y|Mₖ) 是模型 Mₖ 的边际似然（Marginal Likelihood），又称证据（Evidence）；p(y) = Σⱼ p(y|Mⱼ) · P(Mⱼ) 是归一化常数。在实际应用中，研究者通常设定各模型的先验概率相等，即 P(Mₖ)=1/K，此时模型选择完全由边际似然驱动。

1.2 边际似然与奥卡姆剃刀

边际似然是贝叶斯模型选择的核心对象，其定义为模型参数 θₖ 上的似然函数关于先验分布的积分：

p(y|Mₖ) = ∫ p(y|θₖ, Mₖ) · p(θₖ|Mₖ) dθₖ

这一积分天然体现了奥卡姆剃刀原则：一个过于复杂的模型（参数空间大或先验分布分散）虽然能拟合更多数据模式，但其先验分布在参数空间上较为平坦，导致似然函数仅在很小的参数子区域上取得高峰，积分值反而较小。相比之下，一个复杂度适中的模型若能在合理的参数区域给出较高的似然值，其边际似然就会更大。因此，边际似然在拟合优度与模型复杂度之间自动寻求平衡，无需引入额外的惩罚项。

1.3 贝叶斯因子

当需要比较两个模型 Mᵢ 与 Mⱼ 时，常用的工具是贝叶斯因子（Bayes Factor）：

BFᵢⱼ = p(y|Mᵢ) / p(y|Mⱼ)

贝叶斯因子度量了数据对模型 Mᵢ 相对于 Mⱼ 的支持程度。当 BFᵢⱼ > 1 时，数据更支持 Mᵢ；反之则更支持 Mⱼ。Harold Jeffreys 提出了一个广为使用的判据：BFᵢⱼ 在 1-3 之间为"弱证据"，3-10 为"中等证据"，10-30 为"强证据"，大于 30 为"极强证据"。贝叶斯因子的优势在于它独立于模型的先验概率，可以直接报告为一个单一的数值，且具有直观的概率解释——这是频率学派 p 值所不具备的。

2. 计算方法

2.1 解析积分

对于少数简单的模型族——如共轭先验下的线性回归模型——边际似然可以解析地计算。例如，在正态分布下使用正态-逆伽马先验，边际似然可表示为广义 t 分布的形式。但大多数实际模型并不具备这种解析上的便利性。

2.2 拉普拉斯近似

拉普拉斯方法通过在后验众数处对对数联合分布进行二阶泰勒展开来近似边际似然：

ln p(y|Mₖ) ≈ ln p(y|θ̂ₖ, Mₖ) + ln p(θ̂ₖ|Mₖ) + (d/2) · ln(2π) - (1/2) · ln|H|

其中 θ̂ₖ 是后验众数，d 是参数维度，H 是负对数后验的海森矩阵的行列式。该近似直观地展示了贝叶斯模型选择对模型复杂度的惩罚：展开式中的 (1/2)·ln|H| 项随参数维度 d 的增加而增大，从而降低了复杂度较高模型的边际似然。

2.3 贝叶斯信息准则

贝叶斯信息准则（BIC）可以视为拉普拉斯近似在大样本下的简化版本：

BIC = -2 · ln p(y|θ̂ₖ, Mₖ) + d · ln n

其中 n 为样本量。BIC 舍弃了先验信息项和二阶曲率项，仅保留了对数似然的最大值和对参数维度的简单惩罚。尽管 BIC 在形式上与频率学派的模型选择准则相似，但它的推导根植于贝叶斯框架——在特定先验假设下，BIC 的差值近似等于两个模型的边际似然之比的 2 倍对数。需要注意的是，BIC 对先验信息的舍弃导致其在小样本或先验影响显著的情形下可能产生偏误。

2.4 马尔可夫链蒙特卡罗方法

在现代贝叶斯计算中，MCMC 方法为边际似然的估计提供了更灵活的手段。常用的方法包括：温氏重要性采样（Harmonic Mean Estimator，虽简单但方差极大，通常不推荐使用）、桥接采样（Bridge Sampling）、路径采样（Path Sampling）以及热力学积分（Thermodynamic Integration）。其中桥接采样因其良好的数值稳定性和计算效率，已成为估计边际似然的主流方法之一。此外，可逆跳转 MCMC（Reversible Jump MCMC）通过在不同维度的参数空间之间跨跃，可直接对模型后验概率进行抽样，而无需显式计算边际似然。

3. 与频率学派方法的比较

频率学派的模型选择主要依赖 AIC（赤池信息准则）或交叉验证。AIC 的惩罚项为 2d（d 为参数数量），而 BIC 的惩罚项为 d·ln n。当样本量 n > 8 时，BIC 的惩罚比 AIC 更重，因此倾向于选择更简单的模型。从数学上看，AIC 不是相合的模型选择准则——当样本量趋于无穷时，它选择过复杂模型的概率非零；而 BIC 具有相合性，即在真实模型属于候选集的前提下，BIC 以概率 1 选择正确的模型。

然而，贝叶斯模型选择的优势远不止于此。首先，贝叶斯方法通过模型后验概率提供了不确定性量化，而 AIC 或 BIC 仅给出一个排名，无法表达"模型 A 比模型 B 好多少"的概率陈述。其次，贝叶斯因子允许研究者将先验知识融入模型比较，这在频率学派框架下难以实现。最后，通过贝叶斯模型平均（Bayesian Model Averaging, BMA），研究者可以对多个模型进行加权平均预测，权重即为模型后验概率，从而避免了"全有或全无"的模型选择风险。

4. 先验设定的敏感性

贝叶斯模型选择的一个关键挑战是对参数先验的敏感性。由于边际似然涉及对先验分布的全域积分，先验的扩散程度对结果有显著影响。当使用无信息先验或扩散先验时，边际似然往往会趋于零——同一先验在更宽的范围上积分导致证据值被稀释。这一问题被称为 Bartlett 悖论（Bartlett's Paradox）。因此，在进行贝叶斯模型选择时，研究者应优先采用信息先验或经过谨慎校准的弱信息先验，并通过敏感性分析来评估先验设定对模型选择结论的影响。

5. 应用与展望

贝叶斯模型选择在诸多领域产生了深远影响。在基因关联研究中，研究者利用贝叶斯因子识别与特定性状相关的基因位点；在心理测量学中，使用贝叶斯方法比较不同的因子结构模型；在计量经济学中，贝叶斯模型平均被广泛用于增长回归和预测组合。随着计算能力的提升和 MCMC 算法的进步，贝叶斯模型选择已经从理论构想发展为解决实际问题的标准工具。未来，结合变分推理和深度学习的高效近似方法，将有望使贝叶斯模型选择在更大规模和更复杂的模型空间中充分发挥其理论优势。