# OLS估计量无偏性的证明 (Proof of Unbiasedness of OLS Estimators)
在{{{计量经济学}}}和{{{统计学}}}中，无偏性 (Unbiasedness) 是评价一个{{{估计量}}} (Estimator) 优良性的重要标准之一。一个估计量被称为无偏的，如果其{{{期望值}}} (Expected Value) 等于它所估计的总体参数的真值。对于通过{{{普通最小二乘法}}} (Ordinary Least Squares, OLS) 得到的参数估计量，其无偏性是{{{高斯-马尔可夫定理}}} (Gauss-Markov Theorem) 的基石之一，也是OLS方法在实践中被广泛应用的核心原因之一。
本词条将详细推导和证明在线性回归模型下，OLS估计量 $\hat{\beta}_0$ 和 $\hat{\beta}_1$ 的无偏性。
## 预备知识：模型与核心假设
为了证明OLS估计量的无偏性，我们首先需要设定一个{{{简单线性回归模型}}} (Simple Linear Regression Model) 和一系列基本假设。
模型设定: 假设因变量 $y$ 和自变量 $x$ 之间的总体关系可以表示为： $$ y = \beta_0 + \beta_1 x + u $$ 其中： * $y$ 是{{{因变量}}} (Dependent Variable)。 * $x$ 是{{{自变量}}}或{{{解释变量}}} (Explanatory Variable)。 * $u$ 是{{{误差项}}} (Error Term) 或干扰项，代表了除 $x$ 以外所有能影响 $y$ 的未观测因素。 * $\beta_0$ 是总体的{{{截距}}} (Intercept) 参数。 * $\beta_1$ 是总体的{{{斜率}}} (Slope) 参数，表示 $x$ 每增加一个单位， $y$ 的期望变化量。
$\beta_0$ 和 $\beta_1$ 是我们希望通过样本数据来估计的未知{{{总体参数}}} (Population Parameters)。
证明所需的OLS假设: 为了证明无偏性，我们需要依赖以下四个关键假设，通常被称为 高斯-马尔可夫假设 的前四个（SLR.1至SLR.4）：
1. SLR.1 (参数线性): 总体模型是线性的，即 $y = \beta_0 + \beta_1 x + u$。 2. SLR.2 (随机抽样): 我们拥有一组从总体中随机抽取的样本，其规模为 $n$，表示为 $\{(x_i, y_i): i=1, \dots, n\}$。 3. SLR.3 (自变量的样本变异): 样本中的自变量 $x_i$ 的值不完全相同。在数学上，这意味着 $\sum_{i=1}^n (x_i - \bar{x})^2 > 0$。如果所有 $x_i$ 都相同，则无法估计 $x$ 对 $y$ 的影响。 4. SLR.4 (零条件均值): 给定自变量 $x$ 的任何值，误差项 $u$ 的期望值为零。即： $$ E(u | x) = 0 $$ 这个假设是证明无偏性的 最关键假设。它意味着影响 $y$ 的未观测因素 $u$ 与自变量 $x$ 无关。如果这个假设不成立（例如，存在{{{遗漏变量偏误}}} (Omitted Variable Bias)），那么OLS估计量将是{{{有偏估计量}}}。
值得注意的是，证明无偏性并不需要SLR.5 ({{{同方差性}}} Homoskedasticity) 假设。
## 证明斜率估计量 $\hat{\beta}_1$ 的无偏性
OLS斜率估计量 $\hat{\beta}_1$ 的公式为： $$ \hat{\beta}_1 = \frac{\sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^n (x_i - \bar{x})^2} $$
第一步：改写 $\hat{\beta}_1$ 的表达式
为了便于推导，我们可以将分子 $\sum (x_i - \bar{x})(y_i - \bar{y})$ 简化为 $\sum (x_i - \bar{x})y_i$。这是因为： $$ \sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y}) = \sum_{i=1}^n (x_i - \bar{x})y_i - \sum_{i=1}^n (x_i - \bar{x})\bar{y} $$ 由于 $\bar{y}$ 是一个常数，可以提到求和符号外面，而 $\sum_{i=1}^n (x_i - \bar{x}) = 0$，所以第二项为零。因此，$\hat{\beta}_1$ 可以写为： $$ \hat{\beta}_1 = \frac{\sum_{i=1}^n (x_i - \bar{x})y_i}{\sum_{i=1}^n (x_i - \bar{x})^2} $$
第二步：代入总体模型
将总体模型关系 $y_i = \beta_0 + \beta_1 x_i + u_i$ 代入上述 $\hat{\beta}_1$ 的表达式中： $$ \hat{\beta}_1 = \frac{\sum_{i=1}^n (x_i - \bar{x})(\beta_0 + \beta_1 x_i + u_i)}{\sum_{i=1}^n (x_i - \bar{x})^2} $$ 将分子展开为三项： $$ \hat{\beta}_1 = \frac{\beta_0 \sum (x_i - \bar{x}) + \beta_1 \sum (x_i - \bar{x})x_i + \sum (x_i - \bar{x})u_i}{\sum_{i=1}^n (x_i - \bar{x})^2} $$ 我们分别处理这三项： 1. 第一项：由于 $\sum (x_i - \bar{x}) = 0$，所以 $\beta_0 \sum (x_i - \bar{x}) = 0$。 2. 第二项：对于 $\sum (x_i - \bar{x})x_i$，可以证明它等于 $\sum (x_i - \bar{x})^2$。因此，这一项变为 $\beta_1 \sum (x_i - \bar{x})^2$。 3. 第三项：$\sum (x_i - \bar{x})u_i$ 保持不变。
将这三项的结果代回，我们得到一个非常重要的表达式： $$ \hat{\beta}_1 = \frac{0 + \beta_1 \sum (x_i - \bar{x})^2 + \sum (x_i - \bar{x})u_i}{\sum_{i=1}^n (x_i - \bar{x})^2} $$ $$ \hat{\beta}_1 = \beta_1 + \frac{\sum_{i=1}^n (x_i - \bar{x})u_i}{\sum_{i=1}^n (x_i - \bar{x})^2} $$ 这个表达式表明，OLS斜率估计量等于真实的斜率参数 $\beta_1$ 加上一个与误差项 $u_i$ 相关的部分。
第三步：求期望值
现在我们对 $\hat{\beta}_1$ 求期望。在计量经济学的标准做法中，我们是在给定样本中所有 $x$ 值（即 $X = \{x_1, \dots, x_n\}$）的条件下求期望，然后再应用{{{全期望定律}}} (Law of Total Expectation)。 $$ E(\hat{\beta}_1 | X) = E(\beta_1 | X) + E\left( \frac{\sum_{i=1}^n (x_i - \bar{x})u_i}{\sum_{i=1}^n (x_i - \bar{x})^2} \bigg| X \right) $$ * 因为 $\beta_1$ 是一个常数，所以 $E(\beta_1 | X) = \beta_1$。 * 在第二项中，分母 $\sum (x_i - \bar{x})^2$ 是 $x$ 的函数，在以 $X$ 为条件时可视作一个常数。因此，我们可以将其移出期望算子： $$ E(\hat{\beta}_1 | X) = \beta_1 + \frac{1}{\sum (x_i - \bar{x})^2} E\left( \sum_{i=1}^n (x_i - \bar{x})u_i \bigg| X \right) $$ * 利用期望的线性性质，求和符号可以移到期望算子外面： $$ E(\hat{\beta}_1 | X) = \beta_1 + \frac{1}{\sum (x_i - \bar{x})^2} \sum_{i=1}^n E\left( (x_i - \bar{x})u_i \bigg| X \right) $$ * 由于 $(x_i - \bar{x})$ 也是 $X$ 的函数，在以 $X$ 为条件时可视作常数，所以： $$ E(\hat{\beta}_1 | X) = \beta_1 + \frac{1}{\sum (x_i - \bar{x})^2} \sum_{i=1}^n (x_i - \bar{x}) E(u_i | X) $$ 根据 SLR.4 (零条件均值) 假设 $E(u|x) = 0$，以及随机抽样假设，我们有 $E(u_i | X) = E(u_i | x_1, \dots, x_n) = E(u_i|x_i) = 0$。因此，期望内的值为零。 $$ \sum_{i=1}^n (x_i - \bar{x}) E(u_i | X) = \sum_{i=1}^n (x_i - \bar{x}) \cdot 0 = 0 $$ 所以，我们得到： $$ E(\hat{\beta}_1 | X) = \beta_1 + 0 = \beta_1 $$ 最后，根据全期望定律，$E(\hat{\beta}_1) = E[E(\hat{\beta}_1 | X)]$。因为 $E(\hat{\beta}_1 | X)$ 等于常数 $\beta_1$，所以： $$ E(\hat{\beta}_1) = E[\beta_1] = \beta_1 $$ 这就证明了在假设SLR.1至SLR.4下，OLS斜率估计量 $\hat{\beta}_1$ 是总体斜率参数 $\beta_1$ 的一个无偏估计量。
## 证明截距估计量 $\hat{\beta}_0$ 的无偏性
OLS截距估计量 $\hat{\beta}_0$ 的定义是： $$ \hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x} $$
第一步：代入 $\bar{y}$
我们知道，对总体模型 $y_i = \beta_0 + \beta_1 x_i + u_i$ 在样本上求平均，得到 $\bar{y} = \beta_0 + \beta_1 \bar{x} + \bar{u}$。将此式代入 $\hat{\beta}_0$ 的表达式中： $$ \hat{\beta}_0 = (\beta_0 + \beta_1 \bar{x} + \bar{u}) - \hat{\beta}_1 \bar{x} $$ 重新整理各项，得到： $$ \hat{\beta}_0 = \beta_0 + (\beta_1 - \hat{\beta}_1)\bar{x} + \bar{u} $$
第二步：求期望值
现在对上式求期望： $$ E(\hat{\beta}_0) = E(\beta_0) + E[(\beta_1 - \hat{\beta}_1)\bar{x}] + E(\bar{u}) $$ 我们分别考察这三项： 1. $E(\beta_0) = \beta_0$ (因为 $\beta_0$ 是常数)。 2. 对于 $E(\bar{u})$: $$ E(\bar{u}) = E\left(\frac{1}{n} \sum_{i=1}^n u_i\right) = \frac{1}{n} \sum_{i=1}^n E(u_i) $$ 根据SLR.4， $E(u_i) = E[E(u_i | x_i)] = E[0] = 0$。因此，$E(\bar{u}) = 0$。 3. 对于中间项 $E[(\beta_1 - \hat{\beta}_1)\bar{x}]$，我们同样使用以 $X$ 为条件的期望： $$ E[(\beta_1 - \hat{\beta}_1)\bar{x} | X] = \bar{x} \cdot E[\beta_1 - \hat{\beta}_1 | X] = \bar{x} \cdot [E(\beta_1|X) - E(\hat{\beta}_1|X)] $$ 我们已经证明了 $E(\hat{\beta}_1 | X) = \beta_1$，同时 $E(\beta_1|X)=\beta_1$。所以： $$ E[(\beta_1 - \hat{\beta}_1)\bar{x} | X] = \bar{x} \cdot (\beta_1 - \beta_1) = 0 $$ 根据全期望定律，$E[(\beta_1 - \hat{\beta}_1)\bar{x}] = E[E[(\beta_1 - \hat{\beta}_1)\bar{x} | X]] = E[0] = 0$。
将这三项的结果合并： $$ E(\hat{\beta}_0) = \beta_0 + 0 + 0 = \beta_0 $$ 这就证明了在假设SLR.1至SLR.4下，OLS截距估计量 $\hat{\beta}_0$ 是总体截距参数 $\beta_0$ 的一个无偏估计量。
## 结论与启示
该证明揭示了一个深刻的道理：在满足关键的零条件均值假设（SLR.4）及其他基本条件下，OLS估计方法能够提供“平均而言是正确的”参数估计。这意味着，尽管任何一次抽样得到的估计值 $\hat{\beta}_1$ 几乎总会偏离真实的 $\beta_1$，但如果我们能够反复进行抽样和估计，这些估计值的平均值将趋近于真实的总体参数。
这个无偏性的属性是OLS成为线性回归分析标准工具的理论基础。然而，学习者必须牢记，如果假设（特别是SLR.4）不成立，例如当解释变量与误差项相关时，OLS估计量将不再是无偏的，甚至也不是{{{一致估计量}}} (Consistent Estimator)，从而可能导致错误的统计推断。