Rao-Blackwell定理

Rao-Blackwell 定理 (Rao-Blackwell Theorem)

Rao-Blackwell 定理是数理统计中一个基础性结果，提供了一种系统性改进无偏估计量的方法：给定任意无偏估计量和一个充分统计量，通过对后者取条件期望，总能得到一个方差不大于原估计量的新无偏估计量。该定理分别由 C.R. Rao 与 David Blackwell 独立提出，是寻找一致最小方差无偏估计量（UMVUE）的关键工具。

定理的正式表述

设 $W(\mathbf{X})$ 是参数 $\theta$ 的无偏估计量，$T(\mathbf{X})$ 为 $\theta$ 的充分统计量。定义：

则：

1. $E[W^*] = \theta$（无偏性保持不变）；
2. $Var(W^*) \le Var(W)$ 对所有 $\theta$ 成立，等号当且仅当 $W$ 本身已是 $T$ 的函数。

因为 $W^*$ 仅通过 $T$ 依赖于样本，其随机性完全来自充分统计量，这一过程称为Rao-Blackwell化。直观上，充分统计量 $T$ 已经浓缩了样本中关于 $\theta$ 的全部信息，而 $W$ 中与 $T$ 无关的随机波动只是"噪声"——取条件期望正是将这些噪声平滑掉，从而降低方差。

证明概要

无偏性由全期望定律直接得证：$E[W^*] = E[E[W \mid T]] = E[W] = \theta$。

方差减小由全方差定律证明：$Var(W) = E[Var(W \mid T)] + Var(E[W \mid T]) = E[Var(W \mid T)] + Var(W^*)$。因条件方差非负，$Var(W) \ge Var(W^*)$。

应用实例：泊松分布

设 $X_1, \ldots, X_n \sim Poisson(\lambda)$，目标为估计 $\theta = P(X_1 \le 1) = e^{-\lambda}(1+\lambda)$。

直观的无偏估计量为指数函数 $W = I(X_1 \le 1)$，但它只用了第一个观测。充分统计量为 $T = \sum X_i \sim Poisson(n\lambda)$。Rao-Blackwell化给出：

这里利用了 $X_1 \mid T=t \sim B(t, 1/n)$ 的条件分布。$W^*$ 利用了全部样本信息，方差严格小于 $W$。

理论意义与局限

与 UMVUE 的联系： 若 $T$ 不仅是充分的而且是完备统计量，则对任意无偏估计量 Rao-Blackwell化后得到唯一的 UMVUE——这就是Lehmann–Scheffé定理。因此，Rao-Blackwell 定理提供了构造最优无偏估计量的操作路径。

局限性：（1）充分统计量未必存在或不易找到；（2）条件期望 $E[W \mid T]$ 的计算可能涉及复杂的多维积分，无解析解；（3）在偏差-方差权衡框架下，一个轻微有偏但方差极小的有偏估计量可能具有更低的均方误差（MSE），此时坚持无偏性并非最优策略——例如岭回归和James-Stein估计量即通过引入偏误换取MSE的大幅下降。