莱曼-谢费定理

莱曼-谢费定理

莱曼-谢费定理（Lehmann–Scheffé theorem）是数理统计中关于最小方差无偏估计（UMVUE）的核心定理，由美国统计学家埃里希·莱曼（Erich Lehmann）和亨利·谢费（Henry Scheffé）于 1950 年代提出。该定理给出了构造与识别 UMVUE 的系统性方法：若一个统计量既是充分统计量又是完备统计量，则该统计量（或其函数）是其期望的唯一 UMVUE。换言之，充分性确保信息不丢失，完备性确保唯一性，两者结合便锁定了最优无偏估计。

历史背景

莱曼-谢费定理的提出并非孤立事件，而是统计推断理论演进的必然产物。1930 年代，罗纳德·费希尔建立了充分性原理，指出充分统计量浓缩了样本中关于参数的全部信息。1940 年代，亚伯拉罕·瓦尔德的决策理论框架为估计量的最优性提供了统一的评价标准。1947 年，拉奥-布莱克韦尔定理表明——任何无偏估计量在给定充分统计量条件下的条件期望都会产生一个方差更小（至少不更大）的估计量，从而确立了充分性在方差缩减中的核心角色。然而，仅凭充分性和无偏性仍无法保证唯一性：不同的无偏估计量经拉奥-布莱克韦尔化后可能收敛到不同的充分统计量函数。莱曼和谢费的关键洞察在于，完备性条件恰好能消除这种不确定性，迫使充分统计量的函数具有唯一性，进而得到 UMVUE。1950 年两人在 Annals of Mathematical Statistics 上发表的论文 Completeness, Similar Regions and Unbiased Estimation 中首次正式阐述了这一定理，奠定了现代点估计理论的重要基石。

定理陈述与内涵

设 $X_1, X_2, \ldots, X_n$ 为来自某分布族 $\{f_\theta : \theta \in \Theta\}$ 的随机样本。若 $T = T(X_1, \ldots, X_n)$ 是一个充分完备统计量，$g(T)$ 是 $T$ 的某个函数，且 $\mathbb{E}_\theta[g(T)] = \tau(\theta)$，则 $g(T)$ 是 $\tau(\theta)$ 的唯一最小方差无偏估计量。

该定理的要点可分解如下：

• 充分性确保 $T$ 浓缩了样本中关于 $\theta$ 的全部信息，任何 $\theta$ 的推断均可以 $T$ 的函数形式表达。从信息论角度看，充分统计量保留了参数 $\theta$ 的全部信息量，丢弃数据中与参数无关的冗余成分。
• 完备性确保 $T$ 的分布族"足够丰富"：若 $\mathbb{E}_\theta[h(T)] = 0$ 对一切 $\theta$ 成立，则 $h(T) = 0$ 几乎必然成立。这一性质排除了多个不同函数同时满足同一无偏条件的可能性。完备性可理解为分布族的"线性独立性"——任何非零函数都不能与所有分布函数正交。
• 唯一性的来源：若 $g_1(T)$ 和 $g_2(T)$ 均为 $\tau(\theta)$ 的无偏估计，则 $\mathbb{E}_\theta[g_1(T) - g_2(T)] = 0$，由完备性得 $g_1(T) = g_2(T)$ 几乎必然，故二者方差相等。结合拉奥-布莱克韦尔定理，任何其他无偏估计量的方差均不小于二者中任一，从而确认其为 UMVUE。

证明框架

莱曼-谢费定理的证明可沿如下思路构建。设 $\delta(X)$ 为 $\tau(\theta)$ 的任意无偏估计量。由充分性，考虑其条件期望 $\mathbb{E}_\theta[\delta(X) \mid T]$，该量是 $T$ 的函数，记为 $h(T)$。由拉奥-布莱克韦尔定理，$\text{Var}_\theta[h(T)] \leq \text{Var}_\theta[\delta(X)]$，即 $h(T)$ 的方差不大于 $\delta(X)$ 的方差。若存在另一个 $T$ 的函数 $g(T)$ 也是 $\tau(\theta)$ 的无偏估计，则有 $\mathbb{E}_\theta[h(T) - g(T)] = 0$ 对一切 $\theta$ 成立。由完备性，$h(T) = g(T)$ 几乎必然，故二者方差相等。因此所有充分统计量的无偏函数均等价。综上，任意无偏估计量的方差均不小于该等价类公共方差，故 $h(T) = g(T)$ 为 UMVUE。

典型应用

在指数族分布中，莱曼-谢费定理的应用尤为直接。对于正态分布 $N(\mu, \sigma^2)$，样本均值 $\bar{X}$ 是 $\mu$ 的充分完备统计量，因此 $\bar{X}$ 是 $\mu$ 的 UMVUE，其方差达到克拉美-拉奥下界。对于泊松分布 $\text{Poi}(\lambda)$，样本和 $S = \sum X_i$ 是 $\lambda$ 的充分完备统计量，故 $\bar{X} = S/n$ 是 $\lambda$ 的 UMVUE。对于二项分布 $\text{Bin}(n, p)$，成功次数 $X$ 是 $p$ 的充分完备统计量，$X/n$ 是 $p$ 的 UMVUE。对于均匀分布 $\text{Unif}(0, \theta)$，样本最大值 $X_{(n)}$ 是 $\theta$ 的充分完备统计量，其函数 $((n+1)/n)X_{(n)}$ 是 $\theta$ 的 UMVUE。对于正态分布方差 $\sigma^2$ 的估计，样本方差 $S^2 = \frac{1}{n-1}\sum (X_i - \bar{X})^2$ 是 $\sigma^2$ 的 UMVUE，但需注意 $\bar{X}$ 和 $S^2$ 联合构成参数 $(\mu, \sigma^2)$ 的充分完备统计量。

局限与扩展

莱曼-谢费定理虽强大，却有其边界。首先，该定理要求完备充分统计量存在——这在非指数族分布中未必成立，例如柯西分布不存在充分完备统计量。其次，定理仅保证在无偏估计类中的最优性，而实践中偏差-方差权衡有时可能使有偏估计（如正则化方法、岭回归、Lasso）获得更小的均方误差。第三，该定理对参数空间 $\Theta$ 的拓扑结构有一定要求，在非正则条件下需谨慎验证完备性。此外，当参数为向量时，需要联合充分完备统计量，且 UMVUE 的性质在多元情形下需借助克拉美-拉奥不等式的矩阵形式加以推广。现代统计推断中，莱曼-谢费定理与克拉美-拉奥下界、极大似然估计的渐进理论以及贝叶斯估计中的后验均值共同构成了参数估计的理论基础。

延伸阅读

关于莱曼-谢费定理的详细技术推导与扩展讨论，可参阅 Lehmann 与 Casella 合著的 Theory of Point Estimation（第 2 版，Springer, 1998）第 2 章。关于充分性和完备性的深入定义与判别方法，参见 Shao Jun 的 Mathematical Statistics（第 2 版，Springer, 2003）第 2 章与第 3 章。对于指数族分布中完备性的系统性处理，Brown 的 Fundamentals of Statistical Exponential Families（IMS, 1986）是经典参考文献。