Lehmann-Scheffé定理

Lehmann-Scheffé定理 (Lehmann-Scheffé Theorem)

Lehmann-Scheffé定理是数理统计中关于寻找最优点估计量的核心定理之一。该定理提供了一种系统性的方法，用于寻找和验证一个估计量是否为一致最小方差无偏估计量 (UMVUE)，即 Uniformly Minimum Variance Unbiased Estimator。它将充分统计量和完备统计量这两个关键概念联系起来，为构造最优估计量提供了强大的理论依据。

该定理指出，如果一个统计量既是充分的又是完备的，那么任何基于该统计量的无偏估计量都是唯一的 UMVUE。

定理的核心组成部分

要深入理解 Lehmann-Scheffé 定理，必须首先掌握以下几个基本概念：

1. 无偏估计量 (Unbiased Estimator)：一个参数 $\theta$ 的估计量 $\hat{\theta}$ 如果其期望值在所有可能的 $\theta$ 值下都等于 $\theta$ 本身，则称其为无偏的。数学上表示为： \[ E[\hat{\theta}] = \theta, \quad \forall \theta \in \Theta \] 其中 $\Theta$ 是参数空间。无偏性意味着从长期来看，该估计量的平均值会命中真实的参数值。
2. 充分统计量 (Sufficient Statistic)：一个统计量 $T(X)$ 如果包含了样本 $X=(X_1, \dots, X_n)$ 中关于未知参数 $\theta$ 的全部信息，则称其为充分统计量。这意味着，在给定 $T(X)$ 的值之后，样本 $X$ 的条件分布不再依赖于参数 $\theta$。寻找充分统计量通常使用费雪-奈曼分解定理。
3. 完备统计量 (Complete Statistic)：一个统计量 $T(X)$ 对于参数族 $\{P_\theta, \theta \in \Theta\}$ 是完备的，如果对于任意可测函数 $g$，只要 $E_\theta[g(T(X))] = 0$ 对所有 $\theta \in \Theta$ 都成立，那么必然有 $P_\theta(g(T(X))=0) = 1$ 对所有 $\theta \in \Theta$ 都成立。完备性保证了基于该统计量的无偏估计量的唯一性。
4. 一致最小方差无偏估计量 (UMVUE)：在所有无偏估计量中，如果存在一个估计量 $\hat{\theta}^*$，其方差对于参数空间 $\Theta$ 中所有的 $\theta$ 值都是最小的，则称 $\hat{\theta}^*$ 为 UMVUE。即，对于任何其他无偏估计量 $\tilde{\theta}$，都有： \[ \operatorname{Var}(\hat{\theta}^*) \le \operatorname{Var}(\tilde{\theta}), \quad \forall \theta \in \Theta \]

定理的正式表述

设 $X_1, \dots, X_n$ 是来自某概率分布族的随机样本，该分布族由参数 $\theta$ 决定。令 $T = T(X_1, \dots, X_n)$ 是一个关于 $\theta$ 的完备充分统计量。如果 $\phi(T)$ 是一个仅基于 $T$ 的统计量，并且它对于参数 $\theta$（或其某个函数 $\tau(\theta)$）是一个无偏估计量，即： E[$\phi$(T)] = $\theta$ \quad ($\text{或 }$ E[$\phi$(T)] = $\tau$($\theta$)) 那么，$\phi(T)$ 就是 $\theta$（或 $\tau(\theta)$）的唯一 UMVUE。

定理的逻辑与直觉

Lehmann-Scheffé 定理的威力来自于它巧妙地结合了Rao-Blackwell 定理和完备性的思想。

Rao-Blackwell 定理的作用：该定理表明，如果你有一个任意的无偏估计量 $\hat{\theta}$，并有一个充分统计量 $T$，那么通过计算条件期望 $E[\hat{\theta} \mid T]$，你会得到一个新的估计量。这个新的估计量不仅仍然是无偏的，而且其方差不会比原来的估计量更大：

完备性的作用：Rao-Blackwell 定理保证了 UMVUE 一定是充分统计量的函数，但它没有保证唯一性。假设我们找到了两个无偏估计量 $\phi_1(T)$ 和 $\phi_2(T)$，则令 $g(T) = \phi_1(T) - \phi_2(T)$。对所有 $\theta$ 有 $E[g(T)] = 0$。由于 $T$ 是完备统计量，根据定义必有 $g(T)=0$，即 $\phi_1(T) = \phi_2(T)$。这证明了基于完备充分统计量的无偏估计量是唯一的。

应用 Lehmann-Scheffé 定理的步骤

在实践中，应用该定理寻找 UMVUE 通常遵循以下步骤：

第1步：找到一个充分统计量 $T$。通常使用费雪-奈曼分解定理来识别联合概率密度函数或概率质量函数中的充分统计量。如果分布属于指数族分布，则更容易找到充分统计量。

第2步：证明 $T$ 是完备的。对于许多常见分布，尤其是指数族分布，其充分统计量的完备性是已知的。例如，如果一个单参数指数族分布的参数空间包含一个开区间，则其自然充分统计量是完备的。

第3步：构造一个基于 $T$ 的无偏估计量。有两种常用方法：试探法——直接从 $T$ 的简单函数入手，计算其期望，然后调整使其成为无偏估计量；或者Rao-Blackwell 化——从一个简单的无偏估计量 $W$ 开始，计算其在 $T$ 下的条件期望 $E[W \mid T]$，根据 Rao-Blackwell 定理和 Lehmann-Scheffé 定理，得到的结果就是 UMVUE。

示例：泊松分布的 UMVUE

假设 $X_1, \dots, X_n$ 是来自泊松分布 $\operatorname{Poisson}(\lambda)$ 的一个随机样本，目标是寻找参数 $\lambda$ 的 UMVUE。

第1步：寻找充分统计量。样本的联合概率质量函数为：

根据费雪-奈曼分解定理，$T(\mathbf{X}) = \sum_{i=1}^n X_i$ 是 $\lambda$ 的一个充分统计量。

第2步：证明其完备性。独立泊松随机变量之和仍服从泊松分布：$T \sim \operatorname{Poisson}(n\lambda)$。泊松分布属于指数族分布，其参数空间 $\lambda \in (0, \infty)$ 包含开区间，因此充分统计量 $T$ 是完备的。

第3步：构造无偏估计量。计算 $T$ 的期望：$E[T] = n\lambda$。考虑估计量 $\hat{\lambda} = T/n = \bar{X}$，其期望为 $E[\hat{\lambda}] = \lambda$，因此 $\bar{X}$ 是完备充分统计量 $T$ 的函数且是无偏的。

结论：根据 Lehmann-Scheffé 定理，$\bar{X}$ 是 $\lambda$ 的唯一 UMVUE。

与克拉默-拉奥下界的关系

Lehmann-Scheffé 定理找到的 UMVUE 不一定能达到克拉默-拉奥下界 (Cramér-Rao Lower Bound, CRLB)。克拉默-拉奥下界给出了无偏估计量方差的下界，但该下界只在某些正则条件下才成立（例如分布族的支撑集不依赖于参数）。如果一个正则条件下无偏估计量的方差恰好达到 CRLB，那么该估计量必然是 UMVUE；但反过来，UMVUE 的方差可能大于 CRLB，这种情况在分布族不满足正则条件时尤为常见。

总结

Lehmann-Scheffé 定理是统计推断中极其重要的理论工具。它不仅为评价估计量是否最优提供了标准，更重要的是提供了一套构造性的方法来找到这个最优估计量。它将抽象的统计理论（充分性、完备性）与实际的估计问题（寻找最小方差）紧密地联系在了一起，是理解现代统计推断思想的基石之一。该定理以美国统计学家埃里希·莱曼 (Erich Lehmann)和亨利·谢菲 (Henry Scheffé)的名字命名，是两人在 20 世纪中叶对数理统计理论做出的奠基性贡献之一。