贝叶斯模型平均

贝叶斯模型平均 (Bayesian Model Averaging)

贝叶斯模型平均（Bayesian Model Averaging, BMA）是贝叶斯统计学中一种处理{模型不确定性}（model uncertainty）的系统性方法。传统的统计推断通常基于单个"最佳"模型进行参数估计与预测，隐含地假设该模型是生成数据的真实过程。然而，在实际应用中，研究者往往面临多个相互竞争的候选模型，而每个模型都可能捕捉到数据生成过程的不同侧面。BMA 的核心思想是：不将全部置信寄托于单一模型，而是在所有候选模型上计算概率加权平均，从而更完整地反映模型层面的不确定性。

基本框架与贝叶斯定理

BMA 建立在{{贝叶斯定理}}的基础之上。设研究者有 $K$ 个候选模型 $M_1, M_2, \dots, M_K$，每个模型 $M_k$ 定义了一组参数 $\theta_k$ 和相应的似然函数 $p(D | \theta_k, M_k)$。给定观测数据 $D$，研究者关心的是某个感兴趣的量 $\Delta$（例如预测值、回归系数或效应量）的分布。

按照贝叶斯全概率公式，$\Delta$ 的后验分布可以表示为所有候选模型后验预测分布的加权平均：

其中 $p(M_k | D)$ 是模型 $M_k$ 的后验模型概率（PMP），它衡量数据 $D$ 对模型 $M_k$ 的支持程度。根据贝叶斯定理：

这里 $p(M_k)$ 是模型的{先验概率}，反映研究者在观测数据前对各个模型的信念；$p(D | M_k)$ 是模型的边际似然（marginal likelihood），又称模型证据（model evidence），它通过对模型 $M_k$ 的参数空间积分得到：

边际似然天然地包含了{奥卡姆剃刀}（Occam's razor）式的惩罚机制：过于复杂的模型由于参数空间更大、先验分布更分散，其边际似然往往会自动受到惩罚。这一性质使得 BMA 在不增加人为正则化的情况下实现了模型复杂度的自动控制。

点估计与预测

在 BMA 框架下，$\Delta$ 的后验期望（即 BMA 点估计）为各模型下后验期望的加权平均：

后验方差则分解为模型内方差（within-model variance）与模型间方差（between-model variance）两部分：

模型间方差项的存在使得 BMA 的区间估计天然地比任何单一模型更宽，更真实地反映了模型不确定性带来的额外推断风险。这一点在统计决策中至关重要：忽略模型不确定性会导致{置信区间}过于乐观，进而产生过度自信的统计推断。

先验分布的设定

BMA 的应用面临两个层面的先验设定问题：模型先验 $p(M_k)$ 和参数先验 $p(\theta_k | M_k)$。

模型先验常用选择包括均匀先验（所有模型等可能）、按模型大小惩罚的先验（如每个变量独立以概率 $\pi$ 被纳入，从而较小模型获得更大权重）、以及基于学科知识的定制先验。在回归设定中，广泛使用的方案是取 $\pi = 0.5$（对模型规模无偏好）或 $\pi$ 较小（偏好稀疏模型）。

参数先验的选择对边际似然的计算影响巨大。在线性回归的经典 BMA 设定下，一种流行的方案是 Zellner 的 $g$-先验：

其中 $g$ 控制先验的分散程度。常见的选择包括：

• 单位信息先验（$g = n$）：先验信息量相当于一个观测样本。
• 风险通胀准则（$g = k^2$ 或 $g = \max(n, k^2)$）。
• 超先验：对 $g$ 本身设定一个先验分布（如 Zellner-Siow 先验），通过积分消除 $g$ 的影响。

计算挑战与马尔可夫链蒙特卡罗方法

BMA 面临的核心计算障碍是模型空间的组合爆炸问题。当有 $p$ 个潜在解释变量时，候选模型的数量为 $2^p$。例如 $p = 20$ 时，模型数量即超过 100 万。因此，穷举所有模型通常不可行，需要借助数值计算方法。

马尔可夫链蒙特卡罗模型比较（MC\textsuperscript{3}）是最常用的 BMA 计算方法。其基本思想是在模型空间中构造一个马尔可夫链，使其平稳分布为 $p(M_k | D)$，然后通过随机游走对高概率模型进行有效采样。常用的 Metropolis-Hastings 算法步骤如下：

1. 从当前模型 $M$ 出发。
2. 通过添加、删除或交换一个变量提出候选模型 $M'$。
3. 以概率 $\alpha = \min\left(1, \frac{p(M' | D)}{p(M | D)}\right)$ 接受 $M'$。

此外，近年来随机搜索变量选择（SSVS）等基于 MCMC 的贝叶斯变量选择方法也被广泛应用于高维 BMA 问题。在 $p$ 极大的超高维场景下（如基因组学数据），还可以结合{变分推断}（variational inference）或{期望传播}（expectation propagation）等近似方法以提高计算效率。

后验包含概率与变量重要性

BMA 的一个实用副产品是后验包含概率（Posterior Inclusion Probability, PIP）。对于每个变量 $x_j$，PIP 定义为：

即变量 $x_j$ 出现在模型中的所有后验概率之和。PIP 在 0 到 1 之间取值，越高说明数据对该变量的支持越强。研究者常将 PIP > 0.5 视为变量"重要"的阈值，但这一标准是经验性的。

PIP 与传统{频率学派}的 $p$ 值有本质区别：PIP 直接度量变量属于"真实模型"的概率，而 $p$ 值度量的是在原假设为真时观察到极端数据的概率。BMA 的支持者认为 PIP 在解释上更直观、更符合科学研究的实际需求。

经济学中的应用

BMA 在经济学中最著名的应用是{增长经济学}中的增长回归（growth regression）。自 Sala-i-Martin (1997) 和 Fernandez, Ley \& Steel (2001) 以来，BMA 被广泛用于识别经济增长的稳健决定因素。面对数十个可能影响经济增长的变量（如制度质量、贸易开放度、地理特征、教育水平等），传统方法是逐一检验或基于逐步回归选择变量，但这种方法存在严重的模型搜索偏误和过度拟合风险。

BMA 在此类"变量多于理论"的典型场景中具有天然优势。它不对唯一个模型作承诺，而是对所有合理模型进行概率加权，从而系统地区分"稳健"变量（高 PIP）与"脆弱"变量（低 PIP）。例如，在标准增长回归设定中，初始收入水平、教育水平和制度质量通常表现出较高的 PIP，而某些地理变量则因模型设定不同而 PIP 波动较大。

除增长经济学外，BMA 还广泛应用于：

• 货币经济学：识别通货膨胀的驱动因素。
• 金融经济学：预测股票收益和波动率。
• 劳动经济学：估计教育回报率和工资方程。
• 贸易经济学：验证引力模型的变量选择。
• 宏观预测：在大规模变量集中选择预测因子。

局限与批评

尽管 BMA 在理论上优雅且在应用上有效，但它也存在若干局限：

• 先验敏感性：BMA 的结果可能对模型先验和参数先验的选择高度敏感。不同的先验设定可能导致截然不同的后验包含概率，这要求研究者在先验选择上保持透明并进行充分的敏感性分析。
• 模型集的完备性：BMA 仅在模型集 $\{M_1, \dots, M_K\}$ 包含真实模型时具有理论上的最优性质。如果所有候选模型都是误设的，BMA 的加权平均仍然可能产生有偏的推断。
• 计算负担：尽管 MCMC 方法缓解了组合爆炸问题，但在 $p$ 极大（如数千个变量）的情况下，BMA 仍面临收敛诊断和计算效率方面的挑战。
• 预测表现的天花板：在某些实证场景中，BMA 的预测表现未必显著优于精心构造的单一模型——特别是当模型不确定性很小时，BMA 的额外收益有限而计算成本高昂。

小结

贝叶斯模型平均为处理模型不确定性提供了统一、自洽的统计学框架。它从贝叶斯原理出发，将模型本身视为随机变量，通过概率加权平均实现推断和预测。在经济学、流行病学、政治学、基因组学等变量与理论纷繁复杂的领域，BMA 已成为不可或缺的分析工具。随着计算技术的进步和贝叶斯方法在实证研究中的普及，BMA 的应用前景将持续扩展。