Bayesian statistics

贝叶斯统计（Bayesian Statistics）是一种基于贝叶斯定理的统计推断范式，其核心特征是将未知参数视为随机变量，通过先验分布与似然函数的结合得到后验分布，从而进行参数估计和假设检验。与频率学派不同，贝叶斯统计系统性地引入主观先验信息，强调概率是对不确定性程度的量化表达。该框架由托马斯·贝叶斯（Thomas Bayes）于1763年奠定基础，经拉普拉斯推广，在20世纪后半叶随马尔可夫链蒙特卡洛方法的成熟而获得广泛应用。

1. 贝叶斯定理与推断基础

贝叶斯定理表述为 P(θ | D) = P(D | θ) × P(θ) / P(D)，其中 P(θ) 是先验分布，反映观测前对参数 θ 的信念；P(D | θ) 是似然函数；P(D) 是边际似然，作为归一化常数；P(θ | D) 是后验分布。简化表述为"后验正比于先验乘以似然"，揭示了贝叶斯推断的核心机制——从先验信念出发，通过似然函数吸收数据信息得到更新后的信念。

共轭先验（Conjugate Prior）是指先验与后验属于同一分布族的情况，可简化计算。例如，Beta 分布是二项分布似然的共轭先验，正态分布是正态似然的共轭先验。在 MCMC 普及前，共轭先验是贝叶斯分析实际应用的关键工具。

2. 贝叶斯估计与推断方法

参数的点估计可从后验分布的不同特征导出。后验均值在平方损失下最优；后验众数（MAP 估计）在 0-1 损失下最优，当先验均匀时退化为 MLE；后验中位数在绝对损失下最优。

可信区间（Credible Interval）与频率学派的置信区间有本质区别——95\% 的可信区间意味着参数落在此区间的概率恰好为 95\%，是直接的概率陈述。常用构建方法包括等尾可信区间和最高后验密度区间（HPDI）。

贝叶斯假设检验通过贝叶斯因子（Bayes Factor）进行比较，定义为 BF₁₀ = P(D | H₁) / P(D | H₀)。BF > 1 表示数据支持 H₁。与 p 值不同，贝叶斯因子不受停止规则影响，可持续收集数据直至预设阈值而无多重比较偏误。

3. 先验分布的选择

无信息先验用于缺乏可靠先验信息的情形。杰弗里斯先验（Jeffreys Prior）定义为 P(θ) ∝ √det(I(θ))（I(θ) 为 Fisher 信息矩阵），在参数重参数化下保持不变，是最系统的无信息先验构造方法。

信息先验利用领域知识构造。在药物试验中，先验可基于同类药物疗效数据构建；在经济学中，先验反映理论对参数符号和大小的约束。经验贝叶斯（Empirical Bayes）从数据中估计先验超参数，在多重比较和基因组学中性能良好。

4. 计算方法

MCMC 方法是贝叶斯统计走向实践的关键。Metropolis-Hastings 算法和吉布斯采样构造以目标后验为平稳分布的马尔可夫链，从中抽取样本用于推断。其优势在于可处理任意复杂的高维后验，无需解析计算归一化常数。

变分推断（VI）通过优化近似分布 q(θ) 来逼近真实后验，速度比 MCMC 快数个量级，适用于大规模数据。但代价是近似偏差——VI 往往低估后验方差。

概率编程语言（Stan、PyMC、JAGS）内置哈密顿蒙特卡洛（HMC）及 No-U-Turn Sampler，允许研究者以高层语言定义模型，自动完成后验采样，大幅降低了应用门槛。

5. 应用领域

在机器学习中，贝叶斯优化是超参数调优的标准方法；贝叶斯神经网络量化深度学习的不确定性；高斯过程在小样本回归中表现优异。在流式数据环境中，贝叶斯方法天然支持增量更新。

在计量经济学中，贝叶斯 VAR 模型通过 Minnesota 先验解决高频数据中的参数过多问题。在风险管理中，贝叶斯方法整合先验知识与历史数据估计尾部概率，为 VaR（风险价值）和预期亏损的计算提供稳健框架。在资产定价领域，贝叶斯方法可以融合经济理论约束与市场数据，改进资产收益预测和投资组合优化。

在临床试验中，适应性试验设计根据累积数据动态调整样本量和剂量分配。对于罕见病试验，贝叶斯方法借用外部先验信息解决样本量不足问题，这也是 FDA 接受贝叶斯方法的关键推动力之一。

6. 优势与局限性

贝叶斯统计的主要优势在于理论一致性——从先验到后验的更新机制符合概率论法则，推断结果有清晰的概率解释。它在有限样本下更精确，因为先验信息在小样本中提供额外约束；在复杂分层模型（如多层次回归、空间统计）中灵活性卓越；预测区间自动纳入参数不确定性，通常具有更好的校准度。

主要批评集中先验选择的主观性上——不同研究者选择不同先验可能得到不同结论，挑战了科学客观性。此外，高维模型的计算成本仍然较高。在需要严格客观标准的监管科学中，先验选择的争议使贝叶斯方法的接受进程相对缓慢。

总结

贝叶斯统计提供了将先验知识与数据有机结合的推断框架，理论基础扎实、解释直观、模型灵活，在机器学习、生物统计、计量经济学和金融等领域影响深远。MCMC 和概率编程语言使其从理论走向实践，变分推断拓展了其在大规模数据下的适用性。关于先验主观性的争议本质是统计哲学中"概率本质为何"的延伸。贝叶斯与频率学派并存互补，共同推动统计科学的发展。