知经 KNOWECON
登录 注册

知经百科 / W

无偏估计量

无偏估计量 (Unbiased Estimator)

无偏估计量 (Unbiased Estimator) 是参数估计 (Parameter Estimation) 理论中的一个核心概念，属于数理统计和计量经济学的基础。它描述了一类具有特定优良性质的估计量 (Estimator)。一个估计量如果在其抽样分布 (Sampling Distribution) 的期望值上等于所要估计的总体参数 (Parameter) 的真值，那么它就被称为无偏估计量。

简单来说，无偏性意味着，如果我们使用这个估计量在无数次重复抽样中计算估计值，这些估计值的平均数将精确地等于我们想要知道的那个未知的总体参数。它在“平均”意义上是准确的，没有任何系统性的高估或低估倾向。

形式化定义

在统计推断 (Statistical Inference) 中，我们通常从一个总体中抽取一个容量为 n n 的随机样本 (Random Sample) X1,X2,…,Xn X_1, X_2, \dots, X_n 。我们的目标是估计总体的某个未知参数 θ \theta 。一个估计量 θ^ \hat{\theta} 是样本数据的一个函数，即 θ^=T(X1,X2,…,Xn) \hat{\theta} = T(X_1, X_2, \dots, X_n) 。由于样本是随机的，所以估计量 θ^ \hat{\theta} 本身也是一个随机变量 (Random Variable)。

一个估计量 θ^ \hat{\theta} 被称为参数 θ \theta 的 无偏估计量，如果它的期望值 (Expected Value) E(θ^) E(\hat{\theta}) 等于参数 θ \theta 的真值。数学上表示为：

E(θ^)=θE(\hat{\theta}) = \theta

这个等式必须对参数 θ \theta 所有可能的值都成立。

估计量的偏误 (Bias)

与无偏性相对的概念是 偏误 或 偏差 (Bias)。一个估计量 θ^ \hat{\theta} 的偏误被定义为其期望值与参数真值 θ \theta 之间的差异：

Bias(θ^)=E(θ^)−θ\text{Bias}(\hat{\theta}) = E(\hat{\theta}) - \theta
  • 如果 Bias(θ^)=0 \text{Bias}(\hat{\theta}) = 0 ，则 θ^ \hat{\theta} 是一个 无偏估计量。
  • 如果 公式暂不可显示，则 θ^ \hat{\theta} 平均而言会高估参数真值，被称为 正向偏误 (Positive Bias)。
  • 如果 Bias(θ^)<0 \text{Bias}(\hat{\theta}) < 0 ，则 θ^ \hat{\theta} 平均而言会低估参数真值，被称为 负向偏误 (Negative Bias)。

无偏性意味着估计量的偏误为零。在经典的打靶比喻中，参数真值 θ \theta 是靶心，每一次抽样得到的一个估计值 θ^ \hat{\theta} 就是一次射击。一个无偏的估计量就像一个虽然每次射击不一定都正中靶心，但所有射击位置的平均中心点恰好就是靶心的射手。

关键示例

1. 样本均值作为总体均值的估计量

最著名和最常用的无偏估计量是 样本均值 (Sample Mean)，用以估计 总体均值 (Population Mean)。

假设我们有一个来自均值为 μ \mu 、方差为 σ2 \sigma^2 的总体的随机样本 X1,X2,…,Xn X_1, X_2, \dots, X_n 。样本均值定义为：

Xˉ=1n∑i=1nXi\bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i

为了检验其无偏性，我们计算它的期望值：

E(Xˉ)=E(1n∑i=1nXi)E(\bar{X}) = E\left(\frac{1}{n} \sum_{i=1}^{n} X_i\right)

利用期望的线性性质，我们可以将常数 1/n 1/n 和求和符号移到期望符号之外：

E(Xˉ)=1n∑i=1nE(Xi)E(\bar{X}) = \frac{1}{n} \sum_{i=1}^{n} E(X_i)

由于样本中的每个观测值 Xi X_i 都来自同一个总体，因此它们的期望值都等于总体均值 μ \mu ，即 E(Xi)=μ E(X_i) = \mu for all i=1,…,n i=1, \dots, n 。

E(Xˉ)=1n∑i=1nμ=1n(n⋅μ)=μE(\bar{X}) = \frac{1}{n} \sum_{i=1}^{n} \mu = \frac{1}{n} (n \cdot \mu) = \mu

由于 E(Xˉ)=μ E(\bar{X}) = \mu ，我们得出结论：样本均值 Xˉ \bar{X} 是总体均值 μ \mu 的一个无偏估计量。

2. 样本方差：有偏与无偏的对比

估计总体方差 (Population Variance) σ2 \sigma^2 的情况更为微妙，是理解无偏性精髓的绝佳例子。

一个直观的估计量是样本数据对其均值的离差平方和的平均数，通常被称为 最大似然估计 下的方差估计量：

σ^ML2=1n∑i=1n(Xi−Xˉ)2\hat{\sigma}^2_{ML} = \frac{1}{n} \sum_{i=1}^{n} (X_i - \bar{X})^2

然而，这个看似合理的估计量实际上是一个 有偏估计量。我们可以证明它的期望值为：

E(σ^ML2)=n−1nσ2E\left(\hat{\sigma}^2_{ML}\right) = \frac{n-1}{n} \sigma^2

由于 n−1n<1 \frac{n-1}{n} < 1 ，这个估计量的期望值总是小于真实的总体方差 σ2 \sigma^2 。这意味着它系统性地低估了总体方差。其偏误为 E(σ^ML2)−σ2=−1nσ2 E(\hat{\sigma}^2_{ML}) - \sigma^2 = -\frac{1}{n}\sigma^2 。

为什么会出现这种偏误？ 原因是我们在计算离差平方和时，使用的是样本均值 Xˉ \bar{X} 而不是未知的总体均值 μ \mu 。样本均值本身就是根据样本数据计算出来的，它使得样本内的离差平方和 ∑(Xi−Xˉ)2 \sum(X_i - \bar{X})^2 最小化。这个值平均而言会小于使用真实的中心 μ \mu 计算的离差平方和 ∑(Xi−μ)2 \sum(X_i - \mu)^2 。

为了修正这个偏误，我们引入了 样本方差 (Sample Variance)，其定义为：

S2=1n−1∑i=1n(Xi−Xˉ)2S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \bar{X})^2

通过将分母从 n n 调整为 n−1 n-1 ，我们对估计量进行了修正。这个修正被称为 贝塞尔校正 (Bessel's Correction)。现在我们来计算 S2 S^2 的期望值：

E(S2)=E(1n−1∑i=1n(Xi−Xˉ)2)=1n−1E[∑i=1n(Xi−Xˉ)2]E(S^2) = E\left(\frac{1}{n-1} \sum_{i=1}^{n} (X_i - \bar{X})^2\right) = \frac{1}{n-1} E\left[\sum_{i=1}^{n} (X_i - \bar{X})^2\right]

经过数学推导可以证明 E[∑i=1n(Xi−Xˉ)2]=(n−1)σ2 E\left[\sum_{i=1}^{n} (X_i - \bar{X})^2\right] = (n-1)\sigma^2 。因此：

E(S2)=1n−1[(n−1)σ2]=σ2E(S^2) = \frac{1}{n-1} [(n-1)\sigma^2] = \sigma^2

由于 E(S2)=σ2 E(S^2) = \sigma^2 ，我们得出结论：样本方差 S2 S^2 是总体方差 σ2 \sigma^2 的一个无偏估计量。分母中的 n−1 n-1 也与统计学中的自由度 (Degrees of Freedom) 概念密切相关。

无偏性并非唯一标准

虽然无偏性是一个非常理想的属性，但它并不是评价一个估计量好坏的唯一标准。在某些情况下，一个有偏的估计量可能比无偏的估计量更受青睐。为了更全面地评估估计量，我们需要引入其他的度量标准。

均方误差 (Mean Squared Error, MSE) 是一个综合了估计量的偏误和方差的评价指标，定义为：

MSE(θ^)=E[(θ^−θ)2]\text{MSE}(\hat{\theta}) = E\left[(\hat{\theta} - \theta)^2\right]

MSE可以被分解为估计量方差和其偏误平方的和：

MSE(θ^)=Var(θ^)+[Bias(θ^)]2\text{MSE}(\hat{\theta}) = \text{Var}(\hat{\theta}) + [\text{Bias}(\hat{\theta})]^2

其中，Var(θ^)=E[(θ^−E(θ^))2] \text{Var}(\hat{\theta}) = E[(\hat{\theta} - E(\hat{\theta}))^2] 是估计量的方差，度量了估计值围绕其期望值的散布程度。

这个分解揭示了一个重要的概念： 偏误-方差权衡 (Bias-Variance Tradeoff)。

  • 一个无偏估计量固然偏误为零，但它的方差可能很大，导致任何一次具体的估计值都可能离真值很远。
  • 相反，一个有偏估计量虽然在平均意义上不准确，但如果它的方差非常小，那么它的MSE可能比某个无偏估计量的MSE更低。这意味着它的大部分估计值会紧密地聚集在其期望值周围，即使这个期望值与真值略有偏差。

例如，对于服从正态分布的数据，有偏的方差估计量 σ^ML2 \hat{\sigma}^2_{ML} （除以 n n ）比无偏的方差估计量 S2 S^2 （除以 n−1 n-1 ）具有更小的均方误差。在机器学习等领域，为了获得更好的预测性能，人们常常会选择一个有偏但方差更小的模型。

其他重要性质

除了无偏性，评价估计量时还需考虑其他性质：

  • 一致性 (Consistency)：当样本容量 n n 趋于无穷大时，估计量依概率收敛于参数真值。
  • 有效性 (Efficiency)：在所有无偏估计量中，方差最小的估计量被称为最有效的。其方差达到了克拉默-拉奥下界 (Cramér–Rao Lower Bound)。
  • 充分性 (Sufficiency)：一个估计量（或统计量）如果包含了样本中关于未知参数的全部信息，则称其为充分的。

总之，无偏估计量是频率学派统计 (Frequentist Statistics) 推断的基石，为构建置信区间 (Confidence Intervals) 和进行假设检验 (Hypothesis Testing) 提供了理论基础。理解其定义、性质以及局限性，对于深入学习统计学和相关应用领域至关重要。

返回百科索引