Lehmann-Scheffé 定理

Lehmann-Scheffé 定理

Lehmann-Scheffé 定理 (Lehmann–Scheffé theorem) 是数理统计中点估计理论的核心定理之一。它给出了寻找一致最小方差无偏估计 (Uniformly Minimum Variance Unbiased Estimator, UMVUE) 的系统性方法：若 $T$ 是某个完备统计量 (complete statistic)，且 $g(T)$ 是 $T$ 的函数构成的无偏估计量，则 $g(T)$ 是唯一的 UMVUE。该定理由 Erich Lehmann 和 Henry Scheffé 于 1950 年代独立建立，是对Rao-Blackwell 定理的深化与补充，两者共同构成了现代点估计理论的基石。

理论背景

在参数估计中，研究者通常希望找到方差最小的无偏估计量。Rao-Blackwell 定理指出：若 $\hat{\theta}$ 是 $\theta$ 的任意无偏估计，$T$ 是充分统计量，则条件期望 $\mathbb{E}[\hat{\theta} \mid T]$ 仍然是 $\theta$ 的无偏估计，且其方差不大于 $\hat{\theta}$ 的方差。这一过程被称为 Rao-Blackwellization——通过充分统计量"改良"原始估计量。Rao-Blackwell 定理的价值在于确保我们可以从任意一个粗糙的无偏估计出发，利用充分统计量得到一个方差更小的估计。

然而，Rao-Blackwell 定理并未保证改良后的估计量在所有无偏估计中方差最小。不同的初始无偏估计 $\hat{\theta}_1$ 和 $\hat{\theta}_2$，经由同一充分统计量改良后可能得到不同的结果，其中哪个方差更小仍需比较。Lehmann-Scheffé 定理的存在意义正在于此：当充分统计量 $T$ 同时是完备的时，$\mathbb{E}[\hat{\theta} \mid T]$ 与初始 $\hat{\theta}$ 的选择无关，且是唯一的 UMVUE。这一结论的关键在于，完备性确保了充分统计量的无偏函数具有唯一性——任何两个无偏的函数必须几乎处处相等，因此无论改良起点如何，最终都收敛到同一个估计量。

定理的正式陈述

设 $\mathcal{P} = \{P_\theta: \theta \in \Theta\}$ 是一个统计模型，$T$ 是关于 $\theta$ 的充分完备统计量。若 $h(T)$ 是 $g(\theta)$ 的无偏估计（即 $\mathbb{E}_\theta[h(T)] = g(\theta),\; \forall \theta \in \Theta$），则 $h(T)$ 是 $g(\theta)$ 的一致最小方差无偏估计。更进一步，该 UMVUE 是几乎必然唯一的。

该定理不要求 $h(T)$ 通过 Rao-Blackwell 过程得到——任何 $T$ 的函数，只要它是无偏的，就自动成为 UMVUE。这意味着只需找到充分完备统计量 $T$ 及其任一满足无偏性的函数，即可直接锁定最优点估计量。此外，定理中的"唯一性"是在几乎必然意义下成立的：若存在两个不同的 UMVUE，它们在几乎所有样本点上取值相同。

证明思路

Lehmann-Scheffé 定理的证明依赖于两个核心步骤。第一步，利用 Rao-Blackwell 定理，任何无偏估计 $\tilde{\theta}$ 都可以通过充分统计量 $T$ 改良为 $\mathbb{E}[\tilde{\theta} \mid T]$，且改良后的估计量是 $T$ 的函数。第二步，由完备性可知，若 $h_1(T)$ 和 $h_2(T)$ 都是 $g(\theta)$ 的无偏估计，则 $\mathbb{E}_\theta[h_1(T) - h_2(T)] = 0,\; \forall \theta$，由完备性定义得 $h_1(T) = h_2(T)$ 几乎必然成立。因此，$T$ 的所有无偏函数在几乎必然意义下是同一估计量，该估计量的方差必然不大于任何其他无偏估计量——因为任何无偏估计量经过 Rao-Blackwell 改良后都等于该唯一函数。

完备性概念详解

完备性是理解 Lehmann-Scheffé 定理的关键。一个统计量 $T$ 被称为完备的，若对任意函数 $\varphi$，由 $\mathbb{E}_\theta[\varphi(T)] = 0,\; \forall \theta \in \Theta$ 可推出 $\varphi(T) = 0$ 几乎必然成立。直观而言，完备性意味着 $T$ 的分布族足够"丰富"，使得不存在非平凡的零期望函数。这一性质保证了经过 Rao-Blackwell 改良后的估计量是唯一的——若两个不同的 $T$ 函数都是无偏的，它们的差产生的零期望函数必然迫使二者几乎处处相等。

为了更好地理解完备性，考虑一个反例。设 $X \sim \text{Binomial}(n, p)$，其中 $n$ 已知。统计量 $X$ 本身是完备的。但如果只观察 $X$ 的某个函数，例如 $Y = \mathbb{I}(X = 0)$，一般来说 $Y$ 并不构成完备统计量，因为可以构造非零函数 $\varphi(Y)$ 使其期望恒为零。完备性与充分性的结合是 Lehmann-Scheffé 定理成立的核心条件。

常见指数族分布的自然形式 $T = \sum_{i=1}^n t(X_i)$ 通常同时满足充分性和完备性（在参数空间为开集的条件下），这使得指数族成为应用 Lehmann-Scheffé 定理最为自然的场景。具体而言，若分布族的密度可表示为指数族形式 $f(x;\theta) = \exp\{\eta(\theta)^\top T(x) - A(\theta) + B(x)\}$，且参数空间 $\Theta$ 包含某个 $\mathbb{R}^k$ 中的开集，则 $T = \sum_{i=1}^n T(X_i)$ 是充分完备统计量。

应用流程

利用 Lehmann-Scheffé 定理寻找 UMVUE 的标准步骤如下：

1. 确定参数的充分完备统计量 $T$。对于指数族分布，该步骤通常可直接利用因子分解定理和指数族的完备性定理完成。
2. 寻找 $T$ 的某个无偏函数 $h(T)$，即 $\mathbb{E}_\theta[h(T)] = g(\theta)$。这通常通过求解关于 $T$ 的期望方程实现，常见技巧包括使用概率生成函数或矩母函数。
3. 根据定理，$h(T)$ 即为 $g(\theta)$ 的唯一 UMVUE。

这一流程将复杂的全局优化问题简化为代数运算，充分体现了充分完备统计量的理论威力。

经典示例

例：正态分布均值的 UMVUE。 设 $X_1, \dots, X_n \overset{\text{i.i.d.}}{\sim} \mathcal{N}(\mu, \sigma^2)$，其中 $\sigma^2$ 已知。样本均值 $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ 是 $\mu$ 的充分完备统计量，且 $\mathbb{E}[\bar{X}] = \mu$，因此 $\bar{X}$ 是 $\mu$ 的 UMVUE。该结论与直觉一致：对于正态分布，样本均值是对总体均值最有效的估计。

例：Poisson 分布参数估计。 设 $X_1, \dots, X_n \overset{\text{i.i.d.}}{\sim} \text{Poisson}(\lambda)$。$T = \sum_{i=1}^n X_i$ 是 $\lambda$ 的充分完备统计量，服从 $\text{Poisson}(n\lambda)$。对于 $g(\lambda) = \lambda$，取 $h(T) = T/n$，其期望为 $\lambda$，故 $\bar{X}$ 是 $\lambda$ 的 UMVUE。对于 $g(\lambda) = e^{-\lambda}$（即 $P(X_1 = 0)$），可构造 $h(T) = \left(1 - \frac{1}{n}\right)^T$，其期望恰为 $e^{-\lambda}$，因此该指数型估计量是 $e^{-\lambda}$ 的唯一 UMVUE。

例：均匀分布 $U(0, \theta)$。 设 $X_1, \dots, X_n \overset{\text{i.i.d.}}{\sim} U(0, \theta)$。$T = X_{(n)} = \max\{X_1, \dots, X_n\}$ 是 $\theta$ 的充分完备统计量。由于 $\mathbb{E}[X_{(n)}] = \frac{n}{n+1}\theta$，取 $h(T) = \frac{n+1}{n} X_{(n)}$，则 $\mathbb{E}[h(T)] = \theta$，故 $\frac{n+1}{n}X_{(n)}$ 是 $\theta$ 的 UMVUE。值得注意的是，该例不属于指数族分布，但 Lehmann-Scheffé 定理仍然适用，展示了定理更广泛的适用范围。

与 Rao-Blackwell 定理的关系

Lehmann-Scheffé 定理和 Rao-Blackwell 定理在实践中通常联合使用，构成了寻找 UMVUE 的经典路径：首先确定任一充分完备统计量 $T$，然后任取一个无偏估计 $\hat{\theta}$，计算 $\mathbb{E}[\hat{\theta} \mid T]$，所得结果即为 UMVUE。实际应用中，初始无偏估计通常选择形式上比较简单的估计量（如样本矩），或者使用示性函数形式的无偏估计（所谓"零搜索法"），以简化条件期望的计算。

定理的意义与局限

Lehmann-Scheffé 定理将 UMVUE 的存在性与充分完备统计量紧密联系，摆脱了"从所有无偏估计中逐个比较方差"这一不可能的任务，为点估计提供了清晰的程式化路径。在指数族框架内，该定理几乎可以一劳永逸地解决参数的 UMVUE 问题。

但该定理的应用也存在若干局限：第一，完备性本身不易验证，非指数族分布往往缺乏公认的充分完备统计量；第二，定理仅适用于无偏估计类，若允许少量偏误即可大幅降低方差的有偏估计（如收缩估计量），则 UMVUE 未必是均方误差意义上的最优选择；第三，当参数的函数 $g(\theta)$ 形式复杂时，寻找 $T$ 的无偏函数可能涉及解积分方程，在解析上并不可行；第四，对于某些非正则分布（如参数空间非开的分布族），完备性可能不成立。然而，作为统计推断理论的基石之一，Lehmann-Scheffé 定理在教科书和理论研究中仍占据不可替代的地位。