知经 KNOWECON · 卓越的经济金融统计数学学习平台

无偏的

# 无偏性 (Unbiasedness)

无偏性 (Unbiasedness),或称 不偏性,是{{{统计学}}}和{{{计量经济学}}}中评价一个{{{估计量}}} (Estimator) 优良性的核心标准之一。它描述的是估计量在多次重复抽样中,其估计值的平均水平是否等于被估计的真实{{{参数}}} (Parameter) 值。一个具有无偏性的估计量,被称为 无偏估计量 (Unbiased Estimator)。

## 定义与理解

在统计推断中,我们通常无法观测到总体的真实参数(如{{{总体均值}}} $\mu$ 或{{{总体方差}}} $\sigma^2$),因此我们从{{{总体}}}中抽取一个{{{样本}}} (Sample),并构造一个基于样本数据的函数来估计该未知参数。这个函数就是估计量。由于样本是随机抽取的,所以由样本计算出的估计量也是一个{{{随机变量}}}。

无偏性的正式定义如下:

假设 $\theta$ 是一个我们想要估计的未知总体参数,而 $\hat{\theta}$ 是基于样本数据构造的 $\theta$ 的估计量。如果 $\hat{\theta}$ 的{{{期望值}}} (Expected Value) 等于真实的参数值 $\theta$,那么我们就称 $\hat{\theta}$ 是 $\theta$ 的一个无偏估计量。

数学上表示为: $$ E[\hat{\theta}] = \theta $$

直观理解: 这个公式的含义是,如果我们能够从同一个总体中,反复抽取无数个相同大小的样本,并对每一个样本都计算一次估计值 $\hat{\theta}$,那么所有这些估计值的平均数将会精确地等于真实的参数值 $\theta$。无偏估计量在平均意义上是“准确的”,它既不会系统性地高估(overestimate)真实参数,也不会系统性地低估(underestimate)真实参数。

## 估计量的偏误 (Bias)

与无偏性相对的概念是 偏误偏差 (Bias)。一个估计量的偏误定义为它的期望值与真实参数值之间的差异。

$$ \text{Bias}(\hat{\theta}) = E[\hat{\theta}] - \theta $$

据此定义: * 如果 $\text{Bias}(\hat{\theta}) = 0$,则 $\hat{\theta}$ 是一个 无偏估计量。 * 如果 $\text{Bias}(\hat{\theta}) > 0$,则称 $\hat{\theta}$ 存在 正向偏误向上偏误 (Upward Bias),意味着它平均而言会高估真实值。 * 如果 $\text{Bias}(\hat{\theta}) < 0$,则称 $\hat{\theta}$ 存在 负向偏误向下偏误 (Downward Bias),意味着它平均而言会低估真实值。

## 经典示例

### 1. 样本均值的无偏性

这是证明无偏性的最典型案例。设 $X_1, X_2, \ldots, X_n$ 是从一个具有未知总体均值 $\mu$ 和总体方差 $\sigma^2$ 的总体中抽取的容量为 $n$ 的{{{随机样本}}}。我们使用{{{样本均值}}} $\bar{X}$ 作为总体均值 $\mu$ 的估计量:

$$ \hat{\mu} = \bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i $$

为了检验其无偏性,我们计算其期望值: $$ \begin{aligned} E[\bar{X}] &= E\left[ \frac{1}{n} \sum_{i=1}^{n} X_i \right] \\ &= \frac{1}{n} \sum_{i=1}^{n} E[X_i] \quad (\text{根据期望的线性性质}) \end{aligned} $$ 由于每个样本观测值 $X_i$ 都来自同一个总体,因此它们的期望值都是总体均值 $\mu$,即 $E[X_i] = \mu$。 $$ E[\bar{X}] = \frac{1}{n} \sum_{i=1}^{n} \mu = \frac{1}{n} (n\mu) = \mu $$ 因为 $E[\bar{X}] = \mu$,所以样本均值 $\bar{X}$ 是总体均值 $\mu$ 的一个无偏估计量。

### 2. 样本方差的偏误与修正

估计总体方差 $\sigma^2$ 的情况则更为微妙,也更清楚地展示了偏误的概念。一个直观的估计量是样本方差的“有偏形式”: $$ S_n^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \bar{X})^2 $$ 然而,可以证明这个估计量是有偏的,其期望值为: $$ E[S_n^2] = \frac{n-1}{n} \sigma^2 $$ 由于 $\frac{n-1}{n} < 1$,所以 $E[S_n^2] < \sigma^2$。这意味着 $S_n^2$ 存在向下偏误,它会系统性地低估真实的总体方差。这种偏误的根源在于计算离差时使用的是样本均值 $\bar{X}$ 而非未知的总体均值 $\mu$。使用 $\bar{X}$ 会使得样本离差平方和 $\sum (X_i - \bar{X})^2$ 天然地小于使用 $\mu$ 时的离差平方和 $\sum (X_i - \mu)^2$。

为了修正这个偏误,我们引入 无偏样本方差,通常记为 $s^2$ 或 $\hat{\sigma}^2$: $$ s^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \bar{X})^2 $$ 我们来检验其无偏性: $$ E[s^2] = E\left[ \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \bar{X})^2 \right] = \frac{1}{n-1} E\left[ \sum_{i=1}^{n} (X_i - \bar{X})^2 \right] $$ 利用 $E\left[\sum (X_i - \bar{X})^2\right] = (n-1)\sigma^2$ 这一结论,我们得到: $$ E[s^2] = \frac{1}{n-1} (n-1)\sigma^2 = \sigma^2 $$ 因此,$s^2$ 是总体方差 $\sigma^2$ 的一个无偏估计量。分母中的 $n-1$ 被称为{{{自由度}}} (Degrees of Freedom),是对因使用样本均值替代总体均值而损失掉一个信息自由度的补偿。

## 在计量经济学中的应用

在{{{线性回归模型}}}中,无偏性是评价{{{普通最小二乘法}}} (Ordinary Least Squares, OLS) 估计量好坏的基石。考虑一个简单的线性回归模型: $$ Y_i = \beta_0 + \beta_1 X_i + u_i $$ 其中,$\beta_0$ 和 $\beta_1$ 是未知的真实参数, $u_i$ 是{{{误差项}}}。OLS方法给出了 $\beta_0$ 和 $\beta_1$ 的估计量 $\hat{\beta}_0$ 和 $\hat{\beta}_1$。

为了使 OLS 估计量是无偏的,即 $E[\hat{\beta}_1] = \beta_1$ 和 $E[\hat{\beta}_0] = \beta_0$,必须满足一系列假设,这些假设统称为{{{高斯-马尔可夫定理}}} (Gauss-Markov Theorem) 的假设。其中,对无偏性最关键的假设是 零条件均值假设 (Zero Conditional Mean Assumption): $$ E[u_i | X_i] = 0 $$ 该假设意味着,在给定任何解释变量 $X_i$ 的值的情况下,误差项 $u_i$ 的平均值为零。换言之,所有影响 $Y_i$ 但未被 $X_i$ 包含的因素(它们被归入 $u_i$)与 $X_i$ 不存在系统性关联。

如果这个假设不成立(例如,存在{{{遗漏变量偏误}}}、{{{测量误差}}}或{{{同时性偏误}}}),OLS估计量就会变成有偏估计量,从而导致错误的统计推断。

## 无偏性的重要性与局限

重要性: 无偏性是评价估计量的一个非常直观且重要的“起点”。它确保了我们的估计方法没有系统性的错误方向,在多次应用中,估计结果能够围绕真实值波动。在许多理论推导和证明中,无偏性是一个基础性的良好性质。

局限性: 1. 无偏不等于精确: 一个无偏估计量在其单次估计中可能离真实值很远。无偏性只保证“平均正确”,但没有对估计量的{{{方差}}} (Variance) 做出任何限制。一个方差极大的无偏估计量可能在实际应用中毫无价值。

2. {{{偏误-方差权衡}}} (Bias-Variance Tradeoff): 在某些情况下,一个有轻微偏误但方差很小的估计量,可能比一个无偏但方差很大的估计量更受欢迎。这是因为前者的估计值“通常”离真实值更近。评价估计量的综合标准是{{{均方误差}}} (Mean Squared Error, MSE),其定义为: $$ \text{MSE}(\hat{\theta}) = E[(\hat{\theta} - \theta)^2] = \text{Var}(\hat{\theta}) + [\text{Bias}(\hat{\theta})]^2 $$ 在某些高级计量经济学方法(如{{{岭回归}}})中,研究者会有意引入少量偏误来换取方差的大幅下降,以期获得更低的均方误差。

3. 大样本性质: 无偏性是一个在任何样本容量下都可能成立的性质(称为“小样本性质”)。然而,对于大样本而言,{{{一致性}}} (Consistency) 是一个更重要的性质。一致性指当样本容量 $n \to \infty$ 时,估计量会依概率收敛于真实参数值。有些估计量在小样本中是有偏的,但却是无偏的(如上文提到的 $S_n^2$),这类估计量在实践中仍然非常有用。