贝叶斯推断

贝叶斯推断 (Bayesian Inference)

贝叶斯推断基于贝叶斯定理的统计推断→将参数视为随机变量→用数据更新信念。vs频率派推断（参数为固定未知常数）。本质学习过程：先验→数据(证据)→更新→后验。

百度斯定理：$P(\theta\mid D)=P(D\mid\theta)P(\theta)/P(D)$。似然$P(D\mid\theta)$=给定参数下观测数据概率（与MLE似然同）；先验$P(\theta)$=观测前初始信念（可来自先前研究/专家/无信息先验）；后验$P(\theta\mid D)$=观测后对$\theta$的完整概率分布；证据/边际似然$P(D)=\int P(D\mid\theta)P(\theta)d\theta$=归一化常数常可忽略→后验∝似然×先验。

四步流程

①选概率模型（似然）→数据生成过程→二项分布/正态分布等。②选先验$P(\theta)$→反映观前知识→无先验信息选模糊无信息先验→计算方便选共轭先验（后验同族）。③算后验→代入贝叶斯定理→复杂模型无解析解→MCMC等数值模拟取样近似。④推断：点估计→后验均值/中位数/众数（MAP最大后验）；区间估计→可信区间（95\%可信区间=参数95\%概率落此→vs频率派置信区间解释迥异）；假设检验→贝叶斯因子比较模型。

硬币偏倚示例

10次掷：7正3反。似然：二项$\propto\theta^7(1-\theta)^3$。先验：无信息→Beta(1,1)（均匀分布，Beta为二项共轭先验）。后验∝似然×先验：$P(\theta\mid D)=\theta^7(1-\theta)^3$×1→Beta(1+7,1+3)=Beta(8,4)。推断：点估计→均值$8/(8+4)\approx0.667$；95\%可信区间例[0.38,0.88]→真实$\theta$95\%概率落此区间。

vs频率派

| 特征 | 贝叶斯 | 频率派 | |------|--------|--------| | 参数 | 随机变量有概率分布 | 固定未知常数 | | 概率解释 | 信任程度 | 长期频率 | | 核心方法 | 贝叶斯定理→先验+似然=后验 | 似然→估计量/检验统计量 | | 推断结果 | 完整后验分布 | 点估计/CI/p值 | | 区间解释 | 可信区间→参数95\%概率在内 | 置信区间→反复抽样95\%含真值 | | 主观性 | 明确引入先验 | 试图避免但模型选择仍含主观 |

优点：解释直观、整合先验/领域知识、提供完整后验分布、小样本优（先验补数据缺失）。缺点：计算复杂（复杂模型需MCMC等）、先验选择主观性（不当先验可致误导）。应用：机器学习（贝叶斯网络/垃圾邮件过滤）、计量经济学、生物信息学、AI。