KNOWECON WIKI

ARTICLE

无偏

无偏性 (Unbiasedness) 无偏性 (Unbiasedness) 是 数理统计 和 计量经济学 中评价一个 估计量 (Estimator) 优良性的核心标准之一。一个具有无偏性的估计量，其 期望值 等于它所估计的总体 参数 的真实值。通俗地说，这意味着如果我们使用这个估计方法进行无穷多次独立的抽样和估计，那么所有估计值的平均结果将会精确地等于我们想

浏览 54 更新 2025-10-26

无偏性 (Unbiasedness)

无偏性 (Unbiasedness) 是 数理统计 和 计量经济学 中评价一个 估计量 (Estimator) 优良性的核心标准之一。一个具有无偏性的估计量，其 期望值 等于它所估计的总体 参数 的真实值。通俗地说，这意味着如果我们使用这个估计方法进行无穷多次独立的抽样和估计，那么所有估计值的平均结果将会精确地等于我们想要知道的那个真实参数值。

无偏性保证了估计方法在"平均"意义上是准确的，不存在系统性的高估或低估。它是一个关于估计量抽样分布中心位置的属性。

概念的直观理解

我们可以用一个射击的例子来形象地理解无偏性。

  • 总体参数 θ\theta：靶心。这是我们想要击中的真实目标。
  • 一次估计值 θ^\hat{\theta}：一次射击的弹着点。每一次从 总体 中抽取一个 样本 并计算出的估计值，都像是一次射击。
  • 估计量：射手（或其使用的枪）。这是一个产生估计值的方法或规则。

一个 无偏的估计量 就像一个没有系统性瞄准偏差的射手。虽然他的每一发子弹（估计值）可能不会都正好命中靶心，但所有弹着点的平均位置（期望值）恰好就是靶心。可能有些子弹偏左，有些偏右，有些偏上，有些偏下，但这些偏差在多次射击后会相互抵消。

相比之下，一个 有偏的估计量 (Biased Estimator) 则像一个瞄准镜歪了的射手。即使他每次都努力瞄准，他的所有子弹都会系统性地偏离靶心，例如，平均来看总是射向靶心的右上方。这种系统性的偏差就是 偏误 (Bias)。

数学定义与公式

在数学上，无偏性的定义非常精确。假设我们想要估计的未知总体参数是 θ\theta。我们从总体中抽取一个 随机样本 X1,X2,…,XnX_1, X_2, \dots, X_n，并基于这个样本构造一个估计量 θ^=g(X1,X2,…,Xn)\hat{\theta} = g(X_1, X_2, \dots, X_n)。

如果该估计量的 期望值 (Expected Value) 等于参数的真实值 θ\theta，那么我们就称 θ^\hat{\theta} 是 θ\theta 的一个 无偏估计量。

E(θ^)=θE(\hat{\theta}) = \theta

这个等式必须对参数 θ\theta 的所有可能取值都成立。

偏误 的定义为估计量的期望值与真实参数之差：

Bias(θ^)=E(θ^)−θ\text{Bias}(\hat{\theta}) = E(\hat{\theta}) - \theta

因此，对于一个无偏估计量，其偏误恒为零。

典型示例

样本均值的无偏性

样本均值 (Xˉ\bar{X}) 是 总体均值 (μ\mu) 的一个无偏估计量。这是统计学中最基本和最重要的结论之一。

证明：假设我们从一个均值为 μ\mu、方差为 σ2\sigma^2 的总体中抽取一个容量为 nn 的随机样本 X1,X2,…,XnX_1, X_2, \dots, X_n。样本均值的定义为：

Xˉ=1n∑i=1nXi\bar{X} = \frac{1}{n} \sum_{i=1}^n X_i

根据期望的线性性质，我们可以计算其期望值：

E(Xˉ)=E(1n∑i=1nXi)=1n∑i=1nE(Xi)E(\bar{X}) = E\left( \frac{1}{n} \sum_{i=1}^n X_i \right) = \frac{1}{n} \sum_{i=1}^n E(X_i)

由于每个样本观测值 XiX_i 都来自均值为 μ\mu 的总体，所以 E(Xi)=μE(X_i) = \mu 对所有 ii 都成立。因此：

E(Xˉ)=1n∑i=1nμ=1n(nμ)=μE(\bar{X}) = \frac{1}{n} \sum_{i=1}^n \mu = \frac{1}{n} (n\mu) = \mu

这就证明了 E(Xˉ)=μE(\bar{X}) = \mu，即样本均值 Xˉ\bar{X} 是总体均值 μ\mu 的一个无偏估计量。

样本方差的偏误与修正

这是一个稍微复杂但极为重要的例子，它解释了为什么在计算 样本方差 时分母是 n−1n-1 而不是 nn。

首先，我们定义一个看似直观但实际上有偏的估计量，使用 nn 作为分母：

Sn2=1n∑i=1n(Xi−Xˉ)2S_n^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2

可以证明，这个估计量的期望值并不是总体方差 σ2\sigma^2：

E(Sn2)=n−1nσ2E(S_n^2) = \frac{n-1}{n} \sigma^2

因为 E(Sn2)≠σ2E(S_n^2) \neq \sigma^2，所以 Sn2S_n^2 是 σ2\sigma^2 的一个 有偏估计量。它的偏误为 E(Sn2)−σ2=−1nσ2E(S_n^2) - \sigma^2 = -\frac{1}{n}\sigma^2，这表明它会系统性地低估真实的总体方差。低估的原因在于计算离差时使用了样本均值 Xˉ\bar{X} 而不是未知的总体均值 μ\mu。样本数据点离其自身的均值 Xˉ\bar{X} 的距离，在平方和的意义上，总是小于或等于它们离任何其他点（包括 μ\mu）的距离。

为了修正这个偏误，我们引入了以 n−1n-1 为分母的 （无偏）样本方差：

s2=1n−1∑i=1n(Xi−Xˉ)2s^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2

其中的 n−1n-1 称为 自由度 (Degrees of Freedom)。

证明其无偏性：

E(s2)=E(1n−1∑i=1n(Xi−Xˉ)2)=E(nn−1Sn2)E(s^2) = E\left( \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2 \right) = E\left( \frac{n}{n-1} S_n^2 \right)

利用期望的线性性质和上面 E(Sn2)E(S_n^2) 的结果：

E(s2)=nn−1E(Sn2)=nn−1(n−1nσ2)=σ2E(s^2) = \frac{n}{n-1} E(S_n^2) = \frac{n}{n-1} \left( \frac{n-1}{n} \sigma^2 \right) = \sigma^2

这就证明了 s2s^2 是总体方差 σ2\sigma^2 的一个无偏估计量。分母使用 n−1n-1 而非 nn 的原因——即 贝塞尔校正 (Bessel's correction)——正是为了确保方差估计量的无偏性。

无偏性在计量经济学中的应用

在 线性回归模型 Y=Xβ+uY = X\beta + u 中，普通最小二乘法 (Ordinary Least Squares, OLS) 得到的系数估计量 β^\hat{\beta} 的无偏性是一个关键性质。

在 高斯-马尔可夫定理 的假设下，特别是 零条件均值假设 (E(u∣X)=0E(u \mid X) = 0) 成立时，OLS 估计量 β^\hat{\beta} 是真实参数 β\beta 的无偏估计量，即：

E(β^)=βE(\hat{\beta}) = \beta

零条件均值假设意味着 误差项 uu 的期望值在给定任何解释变量 XX 的值时都为零。这排除了 XX 和 uu 之间存在系统性关系的情况。如果这个假设被违背（例如，存在 遗漏变量偏误 (Omitted Variable Bias) 或 联立性偏误 (Simultaneity Bias)），那么 β^\hat{\beta} 将不再是无偏的，会导致错误的推断。

无偏性的局限性与权衡

虽然无偏性是一个非常理想的性质，但它不是评价估计量的唯一标准。

  • 方差的重要性：一个无偏估计量可能具有非常大的 方差，这意味着尽管它的期望是正确的，但任何一次具体的估计值都可能离真实值很远。一个好的估计量应该同时具有较小的偏误和较小的方差。
  • 偏误-方差权衡 (Bias-Variance Tradeoff)：在实践中，我们常常需要在偏误和方差之间做出权衡。有时，人们会愿意接受一个有微小偏误的估计量，以换取其方差的大幅降低。这种权衡的目标通常是最小化 均方误差 (Mean Squared Error, MSE)。 \[ \text{MSE}(\hat{\theta}) = E\left[ (\hat{\theta} - \theta)^2 \right] = \text{Var}(\hat{\theta}) + [\text{Bias}(\hat{\theta})]^2 \] MSE 同时考虑了估计量的方差和偏误的平方。对于无偏估计量，其 MSE 就等于其方差。一个有偏但方差极小的估计量，其 MSE 可能会小于一个无偏但方差很大的估计量。一个经典实例是 James-Stein估计量，它通过引入微小偏误，在估计多个均值时一致地比样本均值拥有更低的 MSE。
  • 渐进无偏性 (Asymptotic Unbiasedness)：有些估计量在小样本中是有偏的，但当样本容量 nn 趋于无穷大时，其偏误会趋于零。这种性质称为渐进无偏性，也是 一致性 (Consistency) 的一个要素。例如，上面提到的有偏方差估计量 Sn2S_n^2 就是渐进无偏的，因为它的偏误 −1nσ2-\frac{1}{n}\sigma^2 在 n→∞n \to \infty 时趋于零。

无偏性与有效性

在无偏估计量的集合中，我们进一步希望找到方差最小的那个，即 最小方差无偏估计量 (Minimum Variance Unbiased Estimator, MVUE)，也称为 有效估计量 (Efficient Estimator)。Cramér-Rao下界 给出了任何无偏估计量所能达到的方差下界：如果某个无偏估计量的方差达到了这一下界，则称其为有效估计量。充分统计量 和 Lehmann-Scheffé定理 为寻找 MVUE 提供了理论基础：如果一个无偏估计量是充分统计量的函数且是完备的，则它就是 MVUE。

总结

无偏性是统计推断的基石概念。它确保估计量在重复抽样中"正中靶心"，避免了系统性的错误。然而，无偏性并非免费的午餐：追求无偏性有时需要付出更高的方差作为代价。现代统计实践——尤其在 机器学习 和 高维统计 领域——越来越强调 MSE 最小化而非单纯的无偏性，这催生了诸如 LASSO、岭回归 等有偏但稳健的估计方法。理解无偏性及其与方差、一致性之间的张力，是深入掌握定量研究方法论的必经之路。