最小方差无偏估计

最小方差无偏估计 (Minimum Variance Unbiased Estimation, MVUE)

最小方差无偏估计 (Minimum Variance Unbiased Estimation)，简称 MVUE，是统计学和计量经济学中评价估计量 (Estimator) 优良性的最高标准之一。它指的是在所有无偏估计量中，具有最小方差的那个估计量。寻找 MVUE 是参数估计理论的核心问题：它试图在"无系统性偏差"（无偏性）和"尽可能精确"（最小方差）这两个目标之间同时达到最优。

定义与形式化表述

设 $\theta$ 是未知的总体参数，$\hat{\theta}$ 是基于样本数据构造的估计量。$\hat{\theta}$ 被称为 $\theta$ 的 最小方差无偏估计量 (MVUE)，当且仅当它同时满足以下两个条件：

1. 无偏性 (Unbiasedness)：$E[\hat{\theta}] = \theta$，即估计量在多次重复抽样中的期望值等于真实参数。

1. 最小方差 (Minimum Variance)：对于任意其他无偏估计量 $\tilde{\theta}$，均有

也就是说，在所有满足无偏性的估计量构成的集合中，$\hat{\theta}$ 的方差最小，没有任何其他无偏估计量能比它更精确地估计参数。

直观地理解：如果把估计过程比作射击，MVUE 就是一个既"瞄准靶心"（无偏）又"弹着点最集中"（方差最小）的射手。无偏性保证了长期平均命中靶心，最小方差保证了每次射击的散布范围最窄。

为何需要 MVUE？

无偏性本身是一个相对较弱的标准。存在无穷多个无偏估计量，它们的方差可能千差万别。例如，要估计正态总体的均值 $\mu$，以下三个估计量都是无偏的：

• 样本均值 $\bar{X} = \frac{1}{n}\sum X_i$
• 仅用第一个观测值 $X_1$
• 用前两个观测值的平均数 $(X_1 + X_2)/2$

虽然它们都满足 $E[\cdot] = \mu$，但显然样本均值 $\bar{X}$ 利用了全部数据，方差最小。MVUE 理论正是要让这种直觉形式化：如何从所有无偏估计量中系统地找出最优的那个。

Cramér-Rao 下界

寻找 MVUE 的第一个关键工具是 Cramér-Rao 下界 (Cramér-Rao Lower Bound, CRLB)。对于任意无偏估计量 $\hat{\theta}$，其方差存在一个由样本信息量决定的理论下限：

其中 $I(\theta)$ 是 Fisher 信息量 (Fisher Information)，度量了样本所携带的关于参数 $\theta$ 的信息：

式中 $f(X;\theta)$ 是样本的似然函数。CRLB 的意义在于：它给了我们一个不可逾越的方差下限。如果一个无偏估计量的方差恰好等于 CRLB，那么它一定是 MVUE。此时称该估计量为 有效估计量 (Efficient Estimator)。

然而，CRLB 并非总是可达的。在许多实际问题中，MVUE 的方差可能严格大于 CRLB——换言之，MVUE 是"同类中最优的"，但未必达到了理论上的绝对下限。

Rao-Blackwell 定理：改进任意无偏估计量

Rao-Blackwell 定理 是构造 MVUE 的第一个理论基石。该定理提供了一种系统性地降低无偏估计量方差的方法。

> 设 $\hat{\theta}$ 是 $\theta$ 的一个无偏估计量，$T$ 是 $\theta$ 的一个充分统计量 (Sufficient Statistic)。定义新估计量： > $$

> $$ > 则：(1) $\hat{\theta}^*$ 仍然是 $\theta$ 的无偏估计量；(2) $\operatorname{Var}(\hat{\theta}^*) \leq \operatorname{Var}(\hat{\theta})$。

充分统计量 $T$ 浓缩了样本中关于参数 $\theta$ 的全部信息。通过求原始估计量在充分统计量上的条件期望，我们"剥离"了不携带参数信息的随机噪声，从而压缩了方差。这个过程被称为 Rao-Blackwell 化 (Rao-Blackwellization)，它告诉我们：寻找 MVUE 时，只需在充分统计量的函数族中搜索即可。

Lehmann-Scheffé 定理：唯一性的保证

Rao-Blackwell 定理提供的是"改进"而非"最优"的保证。真正确定 MVUE 的唯一性条件的是 Lehmann-Scheffé 定理：

> 设 $T$ 是 $\theta$ 的一个完全充分统计量 (Complete Sufficient Statistic)，且 $\hat{\theta} = g(T)$ 是 $T$ 的函数并满足 $E[\hat{\theta}] = \theta$。则 $\hat{\theta}$ 是 $\theta$ 的 唯一 MVUE。

"完全性" (Completeness) 是对充分统计量族的进一步约束：它排除了在 $T$ 的基础上构造出零期望的非平凡无偏估计量（即排除了零的无偏估计量）的可能性。Lehmann-Scheffé 定理直接给出了寻找 MVUE 的标准路线图：

找出完全充分统计量 → 构造它的一个无偏函数 → 该函数就是唯一 MVUE。

经典示例

1. 正态总体均值的 MVUE

设 $X_1, \ldots, X_n \stackrel{\text{iid}}{\sim} N(\mu, \sigma^2)$，$\sigma^2$ 已知。样本均值 $\bar{X} = \frac{1}{n}\sum X_i$ 是 $\mu$ 的无偏估计量，且 $\bar{X}$ 是完全充分统计量的函数。其方差 $\operatorname{Var}(\bar{X}) = \sigma^2/n$ 恰好等于 CRLB，因此 $\bar{X}$ 既是 MVUE 又是有效估计量。

2. 正态总体方差的 MVUE

当 $\mu$ 未知时，$\sigma^2$ 的 MVUE 是 无偏样本方差：

其方差为 $\frac{2\sigma^4}{n-1}$，高于 CRLB（$\frac{2\sigma^4}{n}$）。因此 $s^2$ 是 MVUE 但不是有效估计量——它是在无偏约束下的最优解，但未达到理论下限。

3. 均匀分布的 MVUE

设 $X_1, \ldots, X_n \stackrel{\text{iid}}{\sim} U(0, \theta)$。最大次序统计量 $X_{(n)} = \max(X_1, \ldots, X_n)$ 是 $\theta$ 的完全充分统计量，但 $E[X_{(n)}] = \frac{n}{n+1}\theta$，它有偏。修正后的估计量：

是无偏的，且由 Lehmann-Scheffé 定理，它是 $\theta$ 的唯一 MVUE。

4. Poisson 分布的 MVUE

设 $X_1, \ldots, X_n \stackrel{\text{iid}}{\sim} \text{Poisson}(\lambda)$。$\sum X_i$ 是完全充分统计量，$\bar{X}$ 是其无偏函数，故 $\bar{X}$ 是 $\lambda$ 的 MVUE。若要估计 $\theta = P(X=0) = e^{-\lambda}$，自然候选 $e^{-\bar{X}}$ 是有偏的。经 Rao-Blackwell 化得到的 MVUE 具有更复杂的表达式，这展示了 MVUE 有时可能并不直觉。

与 BLUE 的关系

在计量经济学的线性回归模型中，高斯-马尔可夫定理指出：在满足 $E[u_i \mid X_i] = 0$ 和同方差假设的条件下，普通最小二乘法 (OLS) 估计量在所有线性无偏估计量中具有最小方差，称为 BLUE (Best Linear Unbiased Estimator)。可以将 BLUE 理解为 MVUE 在线性估计量子类中的对应物：OLS 是"线性无偏类"中的最优，而不一定是"所有无偏估计量"中的最优。当误差项服从正态分布时，OLS 也恰好是全部无偏估计量中的 MVUE。

MVUE 的局限性：均方误差视角

尽管 MVUE 在理论上地位崇高，但在实际应用中，它并不总是最优选择。考虑均方误差 (Mean Squared Error, MSE)：

MSE 同时惩罚方差和偏误。在某些情境下，一个轻微有偏但方差大幅缩小的估计量可以在 MSE 上击败 MVUE。最著名的例子是 James-Stein 估计量：当同时估计三个或更多正态均值时，James-Stein 估计量尽管有偏，却能在 MSE 意义上一致优于样本均值（即 MVUE）。此外，岭回归、Lasso 等现代正则化方法也乐于接受少量偏误以换取方差的显著下降。这就是所谓的偏误-方差权衡 (Bias-Variance Tradeoff)：MVUE 保证了无偏性和同类中的最优精度，但在 MSE 这个更综合的尺度上，它未必是最佳答案。

小结

最小方差无偏估计（MVUE）构成了经典参数估计理论的核心。Cramér-Rao 下界设定了方差的理论极限，Rao-Blackwell 定理指明了"压缩"方差的路径，Lehmann-Scheffé 定理给出了 MVUE 的唯一性条件。这一理论框架优雅而严谨，为统计推断提供了坚实的基础。理解 MVUE 不仅有助于掌握估计理论的内在逻辑，也为理解现代方法（如正则化估计、贝叶斯估计）为何愿意偏离无偏性提供了必要的理论参照。