最优无偏估计量

最优无偏估计量 (Uniformly Minimum Variance Unbiased Estimator)

最优无偏估计量，亦称一致最小方差无偏估计 (Uniformly Minimum Variance Unbiased Estimator, UMVUE)，是在所有无偏估计量中具有最小方差的估计量。在点估计理论中，若对参数 $\theta$ 存在一个无偏估计量 $\hat{\theta}$，使得对 $\theta$ 的任意无偏估计量 $\tilde{\theta}$ 均有 $\mathrm{Var}(\hat{\theta}) \leq \mathrm{Var}(\tilde{\theta})$ 对所有可能的 $\theta$ 取值成立，则称 $\hat{\theta}$ 为 $\theta$ 的 UMVUE。

无偏性要求

无偏性要求估计量的期望等于被估参数的真值，即 $\mathbb{E}[\hat{\theta}] = \theta$。这一条件排除了系统偏差，但代价是可能存在有偏但方差更小的估计量。均方误差 (MSE) 作为偏差平方与方差之和，有时允许以微小偏差换取显著方差降低，但 UMVUE 坚持无偏框架内的最优性。

核心理论工具

• 拉奥-布莱克韦尔定理：若存在一个充分统计量 $T$ 和一个无偏估计量 $\hat{\theta}$，则条件期望 $\mathbb{E}[\hat{\theta} \mid T]$ 是一个方差不劣于 $\hat{\theta}$ 的无偏估计量。这提供了构造 UMVUE 的标准化路径：从任意无偏估计量出发，对其关于充分统计量取条件期望。
• 莱曼-谢菲定理：若充分统计量 $T$ 是完备的 (Complete)，则基于 $T$ 的任何无偏估计量就是 UMVUE。这给出了判定 UMVUE 的实用准则——寻找完备充分统计量的函数，使其期望等于目标参数。

指数族与UMVUE

指数族分布 (Exponential Family) 在 UMVUE 理论中占据特殊地位。对于正则指数族，其自然充分统计量 $T = \sum_{i=1}^n t(X_i)$ 不仅是充分的，还是完备的。因此，若能找到 $T$ 的某个函数使得其期望等于待估参数，该函数即为 UMVUE。例如，在正态分布 $N(\mu, \sigma^2)$ 中，样本均值 $\bar{X}$ 是 $\mu$ 的 UMVUE，样本方差 $S^2 = \frac{1}{n-1}\sum (X_i-\bar{X})^2$ 是 $\sigma^2$ 的 UMVUE。

构造方法

实践中构造 UMVUE 的常用路径如下：

1. 找到参数 $\theta$ 的一个充分统计量 $T$。
2. 验证 $T$ 的完备性——指数族中通常自然成立。
3. 寻找函数 $h(T)$ 使得 $\mathbb{E}[h(T)] = \theta$。这可通过求解积分方程或使用勒贝格-斯蒂尔切斯积分完成。
4. 所得 $h(T)$ 即为 UMVUE。

局限性

尽管 UMVUE 在理论上具有吸引力，但在实际应用中存在若干局限：

• UMVUE 可能不存在，尤其当参数空间不满足正则条件时。
• 即使存在，UMVUE 的方差有时仍可能大于某个有偏估计量（如岭估计、詹姆斯-斯坦估计量）的均方误差。
• 在非线性变换下，UMVUE 的最优性不保持。若 $\hat{\theta}$ 是 $\theta$ 的 UMVUE，则 $g(\hat{\theta})$ 通常不是 $g(\theta)$ 的 UMVUE（除非 $g$ 是线性函数）。
• 在高维参数或多参数问题中，UMVUE 的构造难度急剧上升。

与相关概念的关系

• 充分统计量：UMVUE 必然基于充分统计量（由拉奥-布莱克韦尔定理保证），但充分统计量本身不保证最优性。
• 克拉默-拉奥下界 (Cramér-Rao Lower Bound)：在正则条件下，无偏估计量的方差存在下界 $\mathrm{Var}(\hat{\theta}) \geq 1/I(\theta)$，其中 $I(\theta)$ 为费希尔信息量。达到该下界的无偏估计量必为 UMVUE，但逆向不成立——并非所有 UMVUE 都能达到 CRLB。
• 最大似然估计 (MLE)：在正则条件下 MLE 是渐近有效的，但有限样本下未必是 UMVUE。对于指数族分布，MLE 常常与 UMVUE 重合，这源于充分统计量的完备性和 MLE 的不变性。

典型实例

• 泊松分布：设 $X_1, \ldots, X_n \sim \mathrm{Poi}(\lambda)$，则 $\bar{X}$ 是 $\lambda$ 的 UMVUE，$e^{-\bar{X}}$ 是 $e^{-\lambda}$ 的 UMVUE。
• 伯努利分布：设 $X_i \sim \mathrm{Bern}(p)$，则 $\bar{X}$ 是 $p$ 的 UMVUE，$\bar{X}(1-\bar{X})/(n-1)$ 是 $\mathrm{Var}(X_i) = p(1-p)$ 的 UMVUE。
• 均匀分布：设 $X_i \sim U(0, \theta)$，则充分统计量 $X_{(n)}$（样本最大值）是完备的，其函数 $\frac{n+1}{n}X_{(n)}$ 是 $\theta$ 的 UMVUE。

最优无偏估计量是统计决策理论中在无偏约束下的最优解，为参数估计提供了严谨的基准。尽管现代统计学越来越多地采用贝叶斯估计和正则化方法等更灵活的技术，UMVUE 在基础理论教学和特定学科的规范分析中仍然是不可替代的核心概念。