rao-blackwell

Rao-Blackwell定理

Rao-Blackwell定理（Rao-Blackwell Theorem），通常称为Rao-Blackwell化，是数理统计中用于改进点估计质量的一个基础定理。该定理提供了一种系统性方法，可以将一个初始无偏估计量转化为另一个均方误差（MSE）更小（或至少不更大）的无偏估计量——核心在于利用充分统计量所包含的信息，通过条件期望来平滑原始估计量的随机性。

定理陈述与证明思路

设$X_1,\ldots,X_n$为来自依赖于参数$\theta$的分布的随机样本。假设$\hat{\theta} = u(X_1,\ldots,X_n)$是$\theta$的无偏估计量（$E[\hat{\theta}] = \theta$），$T = t(X_1,\ldots,X_n)$是$\theta$的充分统计量。定义新估计量$\phi(T) = E[\hat{\theta} \mid T]$——原始估计量在给定充分统计量下的条件期望。Rao-Blackwell定理指出：第一，$\phi(T)$也是$\theta$的无偏估计量（$E[\phi(T)] = \theta$）；第二，$\phi(T)$的方差不超过$\hat{\theta}$的方差（$Var(\phi(T)) \le Var(\hat{\theta})$），不等式取等号当且仅当$\hat{\theta}$本身就是$T$的函数。

关键点：为何$E[\hat{\theta} \mid T]$是一个合法的统计量不依赖$\theta$？因为$T$是充分统计量——给定$T$后样本的条件分布不依赖于$\theta$，因此条件期望的计算结果中不包含$\theta$，$\phi(T)$仅是$T$的函数。

证明通过方差分解公式（全方差定律）直观展示：$Var(\hat{\theta}) = Var(E[\hat{\theta}|T]) + E[Var(\hat{\theta}|T)] = Var(\phi(T)) + E[Var(\hat{\theta}|T)]$。由于$E[Var(\hat{\theta}|T)] \ge 0$（方差非负），因此$Var(\hat{\theta}) \ge Var(\phi(T))$——方差分解的第二项也就是原始估计量在"已知充分统计量后剩余的噪声"。

意义与与Lehmann-Scheffé定理的关系

Rao-Blackwell定理的操作意义在于：给定任何一个无偏估计量，总可以通过将其对充分统计量取条件期望来构造另一个至少同样好（方差更小或相等）的无偏估计量。这一过程被称为Rao-Blackwell化——从初始估计量中"抹去"了不被充分统计量所捕获的多余随机性，同时保留无偏性。

Rao-Blackwell定理与Lehmann-Scheffé定理共同构建了最优无偏估计的核心理论。Rao-Blackwell定理确保UMVUE（若存在）必然是某个充分统计量的函数；Lehmann-Scheffé定理通过完备性条件进一步确保UMVUE的唯一性——完备充分统计量的任何无偏函数即为唯一UMVUE。经典示例：设$X_1,\ldots,X_n \sim N(\mu, \sigma^2)$，初始无偏估计量$\hat{\mu} = X_1$的方差为$\sigma^2$；充分统计量$T = \bar{X}$；条件期望$E[X_1|\bar{X}] = \bar{X}$的方差为$\sigma^2/n$——通过Rao-Blackwell化方差从$\sigma^2$降至$\sigma^2/n$，改进效果显著。Rao-Blackwell定理是连接充分性原则与最优估计之间的理论桥梁，在现代统计推断和计算统计（如蒙特卡洛方法的Rao-Blackwell化方差缩减技术）中有广泛应用。