经验概率

经验概率 (Empirical Probability)

经验概率（Empirical Probability），也称频率概率（Frequentist Probability）或统计概率（Statistical Probability），是概率论中最具操作性的解释路径之一：将事件 $A$ 的概率定义为在无限次独立重复试验中 $A$ 发生的相对频率的极限：

其中 $n_A$ 为前 $n$ 次试验中 $A$ 发生的次数。经验概率构成了频率学派统计学（Frequentist Statistics）的哲学基石，与贝叶斯概率的主观解释形成对比，至今仍是自然科学、质量控制、机器学习中默认的概率解释范式。

三种概率解释的比较

历史上，概率至少有三条不同的概念化路径。古典概率（Classical Probability），源自拉普拉斯的不充分理由原则，要求所有基本结果等可能（如公平骰子各面概率均为 $1/6$），其适用范围受限于对称性假设。主观概率（Subjective Probability），由拉姆齐（Ramsey）、德菲内蒂（de Finetti）和萨维奇（Savage）发展，将概率理解为理性主体的信念度（degree of belief），通过赌局行为来揭示。而经验概率则拒绝先验对称性或主观信念，主张概率只能从实际数据中通过重复试验的频率极限来获取。三种解释各有适用范围：古典概率适合对称博弈，主观概率适合一次性决策，经验概率适合可重复的科学实验。

大数定律：经验概率的数学基础

经验概率的合法性由大数定律（Law of Large Numbers, LLN）提供。设 $X_1, X_2, \ldots$ 为独立同分布（i.i.d.）的伯努利随机变量，其中 $P(X_i = 1) = p$（表示事件 $A$ 发生），则样本均值 $\bar{X}_n = \frac{1}{n} \sum_{i=1}^n X_i$ 依概率收敛于 $p$（弱大数定律）且几乎必然收敛于 $p$（强大数定律）：

强大数定律（柯尔莫哥洛夫强大数定律）的"几乎必然收敛"意味着，以概率 1 而言，当 $n \to \infty$ 时频率必趋于真实概率。这一结果为"概率即长期频率"提供了严格的数学保证，是经验概率解释的逻辑锚点。没有大数定律，频率的稳定性就只是一个经验观察而无理论根基。

经验分布函数与 Glivenko-Cantelli 定理

经验概率的构架不仅适用于单一事件，也可以通过经验分布函数（Empirical Distribution Function, EDF）推广到整个分布。给定 i.i.d. 样本 $X_1, \ldots, X_n$ 来自分布 $F$，EDF 定义为：

即不超过 $x$ 的观测值所占比例。Glivenko-Cantelli 定理断言，

即 EDF 在整个实数线上一致地收敛于真实分布函数 $F$。这一定理赋予了经验概率"全貌收敛"的保证：不仅单个事件的频率收敛，整条分布曲线也以概率 1 向真实分布靠近。在非参数统计和自助法（Bootstrap）中，EDF 被直接用作总体分布的估计，取代了对参数模型的依赖。

冯·米塞斯的"合 collectives"与频率学派哲学

经验概率的哲学框架最早由理查德·冯·米塞斯（Richard von Mises）在 1919 年系统提出。他将概率论的基础建立在"合 collectives"（Kollektiv）概念之上：一个合 collectives 是满足两条公理的无限序列——（i）频率极限存在（即每种属性的相对频率收敛），（ii）随机性公理（Place Selection）：任意依据先前结果选择子序列的规则不会改变极限频率。第二条公理排除了赌博系统中"套利策略"的可能性，是频率学派对"不可预测性"的数学刻画。

尽管冯·米塞斯的原始公理框架受限于可定义性困难（选择规则的范围难以严格界定），其核心直觉——概率是无限重复试验中稳定频率的客观属性——被费歇尔（Fisher）、奈曼（Neyman）和埃贡·皮尔逊（Egon Pearson）等统计学奠基人继承，塑造了二十世纪主流的频率学派统计推断范式：显著性检验、置信区间和假设检验均以重复抽样下的长期频率行为作为误差控制的依据。

蒙特卡洛方法与计算经验概率

在解析方法失效的复杂问题中，经验概率通过蒙特卡洛方法（Monte Carlo Method）获得了强大的计算实现。核心思路是：用大量模拟样本中目标事件的发生频率逼近真实概率。例如，估计 $\int_0^1 g(x)dx$ 时，抽取独立均匀样本 $U_1, \ldots, U_N$，计算：

由中心极限定理，蒙特卡洛误差以 $O(1/\sqrt{N})$ 的速度衰减，与积分维数无关——这使得经验概率在高维积分、贝叶斯推断（MCMC）和金融衍生品定价中成为不可替代的工具。

参考类问题与有限样本的批评

经验概率面临的最深刻挑战是参考类问题（Reference Class Problem）：任意单一事件同时属于多个参考类，不同参考类中的频率可能截然不同。例如，一位 60 岁男性肝病患者的五年生存率，应参考"60 岁男性"、"肝病患者"还是"60 岁男性肝病患者"的频率？参考类选择越精细，样本量越小，频率估计越不稳定；选择越粗糙，估计越不相关。这揭示了经验概率在单一个案预测中的根本困难——倾向性概率（Propensity Probability，由波普尔提出）试图以客观情境的内在倾向来弥补这一缺口。

同时，经验概率的极限定义永远以无限次试验为前提，而所有现实数据都是有限的。频率学派通过置信区间、假设检验等工具在有限样本下量化不确定性，但"真实概率"本身在严格的经验意义上是不可观测的——我们只能获得有限 $n$ 下的频率 $\hat{p}_n$，并依赖于大数定律的极限保证来将其与 $p$ 关联。

经验概率与贝叶斯概率的互补性

经验概率与贝叶斯概率并非互斥，在现代统计学和机器学习中二者高度互补。频率方法适合"从数据中学习"的场景——实验可重复、样本量充足的条件下，经验概率提供客观且无需先验假设的推断。贝叶斯方法适合先验知识丰富或需要量化决策风险的场景，通过贝塔-二项共轭模型等框架，将先验信念 $Beta(\alpha, \beta)$ 与经验频率 $\hat{p}_n$ 通过贝叶斯定理融合为后验分布。事实上，当样本量 $n \to \infty$，贝叶斯后验均值收敛于经验频率，伯恩斯坦-冯·米塞斯定理（Bernstein–von Mises Theorem）保证了两种范式在大样本下的渐近一致。这一渐近等价表明，经验概率和主观概率的对立在大数据极限下趋于消解。

小结

经验概率以"长期相对频率的极限"为概率提供了最具操作性和客观性的定义。大数定律为其奠基，Glivenko-Cantelli 定理将其推广至分布全貌，蒙特卡洛方法赋予其强大的计算能力。尽管面临参考类问题和单一个案概率的哲学挑战，经验概率在一切可重复实验的科学领域——从粒子物理到 A/B 测试——仍然无可替代。理解经验概率及其与贝叶斯概率的关系，是掌握统计推断逻辑、区分频率学派与贝叶斯学派的入门之钥。