贝叶斯更新

贝叶斯更新 (Bayesian Updating)

贝叶斯更新是贝叶斯统计的核心操作机制，描述理性主体如何在新证据到来时系统性地修正对未知量的信念。其数学基础是贝叶斯定理：后验分布正比于先验分布与似然函数的乘积。这一看似简单的乘法规则，蕴含了从主观信念到客观推断的完整逻辑框架，在统计学、机器学习、经济学和认知科学中均有深远应用。

从贝叶斯定理到更新机制

给定未知参数 $\theta$ 和观测数据 $D$，贝叶斯定理表达为：

其中 $p(\theta)$ 为先验分布，编码在观测数据前对 $\theta$ 的信念；$p(D \mid \theta)$ 为似然函数，量化给定参数下数据出现的概率；$p(\theta \mid D)$ 为后验分布，综合先验与数据信息后的更新信念；$p(D)$ 为边缘似然（证据），起归一化作用。这一过程将新信息以乘法方式整合进既有知识，形成对参数不确定性的完整概率描述。

似然原则在此自然成立：数据中关于 $\theta$ 的全部信息仅通过似然函数进入后验分布，抽样方案本身不直接影响推断。这使贝叶斯更新与基于重复抽样分布的频率学派方法产生根本分歧。

共轭先验与序贯更新

共轭先验是贝叶斯更新的计算基石。若先验分布与后验分布属于同一分布族，则称先验为该似然的共轭先验。例如：Beta 先验配合二项似然产生 Beta 后验（$\text{Beta}(\alpha, \beta) \to \text{Beta}(\alpha + k, \beta + n - k)$）；正态-逆 Gamma 先验配合正态似然；Dirichlet 先验配合多项似然。共轭结构使后验可以解析表达，极大简化了计算。在线性正态模型（如线性回归的贝叶斯版本）中，共轭先验使后验均值为先验均值与 OLS 估计的精度加权平均，直观体现了先验信息与新数据信息的融合。

共轭结构还赋予贝叶斯更新序贯一致性：将数据分批依次更新与一次性用全部数据更新得到相同的最终后验。设两批独立数据 $D_1, D_2$，有：

即前一阶段的后验自然成为下一阶段的先验。一个经典示例是硬币偏倚估计：以均匀 Beta(1,1) 为先验，每抛一次硬币便更新一次参数。若依次观测到"正面、正面、反面"，则后验依次为 Beta(2,1)、Beta(3,1)、Beta(3,2)，与一次性观测三次（2正1反）所得后验完全一致。这一性质使贝叶斯方法天然适用于流式数据和在线学习场景——类似人类"逐步修正信念"的认知过程。

先验的选择与敏感性

先验选择是贝叶斯更新中最具争议的维度。无信息先验（如Jeffreys 先验、均匀先验）试图让数据主导后验；主观先验引入专家知识和领域约束；层级先验将超参数也视为未知，构建多层贝叶斯模型。在参数维数相对样本量较小的大样本情形下，后验分布由似然主导，先验影响渐近消失（Bernstein-von Mises 定理保证后验收敛于以极大似然估计为中心的正态分布）。但在小样本或高维设定下，先验选择至关重要——正则化先验（如 Laplace 先验对应 Lasso、Spike-and-Slab 先验用于变量选择）通过引入稀疏性或收缩实现自动模型选择。

稳健性实践中，应进行先验敏感性分析：改变先验分布族与超参数，观察后验结论的变化幅度。若结论对先验高度敏感，则数据信息不足以支持确定性推断，此发现本身即具有科学价值。值得注意的是，参考先验（Reference Prior）和最大熵先验提供了在先验信息匮乏情况下的系统化选择策略，最大化数据对后验的相对贡献。

信息论视角：从不确定性到信息增益

贝叶斯更新可从信息论角度重新诠释。先验到后验的转变可通过KL 散度（相对熵）衡量信息增益：

该量度量了观测数据使信念分布发生的"位移"，刻画了数据的信息含量。边缘似然 $p(D)$ 与模型选择紧密相关——贝叶斯因子 $B_{12} = p(D \mid M_1)/p(D \mid M_2)$ 通过比较两模型下数据的预测能力实现模型比较，自动内嵌了 Occam 剃刀式的复杂度惩罚。

应用与前沿

在计量经济学中，贝叶斯更新广泛应用于时间序列分析（状态空间模型的 Kalman 滤波可视为高斯线性系统中的序贯贝叶斯更新）、面板数据的层级建模、以及结构向量自回归（SVAR）中施加符号约束。在金融学中，Black-Litterman 资产配置模型以市场均衡收益为先验、投资者主观观点为似然，通过贝叶斯更新输出最优投资组合权重。机器学习中的贝叶斯神经网络、高斯过程和变分推断均以贝叶斯更新为理论基础。

在认知科学中，贝叶斯更新被用作描述人类学习和推理的规范性模型。研究表明，人类在整合多感官信息、进行因果推断和概率判断时，其行为近似遵循贝叶斯更新规则——先验对应既有知识和预期，似然对应感官输入的可靠性，后验对应更新后的感知判断。这种"贝叶斯大脑"假说为理解认知偏差（如先验过强导致的确认偏误、似然忽略导致的保守主义）提供了统一的解释框架。

当前前沿包括：大规模模型中的近似贝叶斯计算（ABC）处理似然不可解情形；MCMC的后 MCMC 时代——变分贝叶斯和归一化流以优化替代抽样实现可扩展更新；以及贝叶斯更新在强化学习（Thompson 采样）和实验设计（序贯决策中每步基于当前后验选择最优行动，实现探索-利用权衡）中的深入应用。贝叶斯更新已从概率论的恒等式演变为贯穿现代数据科学的一条主线。