高斯–马尔可夫定理

高斯–马尔可夫定理 (Gauss–Markov Theorem)

高斯–马尔可夫定理是计量经济学和统计学中最为基础且优美的结论之一。该定理由卡尔·弗里德里希·高斯（Carl Friedrich Gauss）在19世纪初研究最小二乘法时率先触及，后由俄国数学家安德烈·马尔可夫（Andrey Markov）于1900年严格形式化并证明。定理断言：在经典线性回归模型的标准假设下，普通最小二乘（Ordinary Least Squares, OLS）估计量是最佳线性无偏估计量（Best Linear Unbiased Estimator, BLUE）。

模型设定与假设条件

考虑线性回归模型：

其中 $\mathbf{y}$ 为 $n \times 1$ 被解释变量向量，$\mathbf{X}$ 为 $n \times k$ 满秩设计矩阵（$\mathrm{rank}(\mathbf{X}) = k$），$\boldsymbol{\beta}$ 为 $k \times 1$ 未知参数向量，$\boldsymbol{\varepsilon}$ 为随机干扰项。高斯–马尔可夫定理依赖以下核心假设：

1. 线性性（Linearity）：模型对参数是线性的，即 $\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}$。
2. 严格外生性（Strict Exogeneity）：$E[\boldsymbol{\varepsilon} \mid \mathbf{X}] = \mathbf{0}$，即干扰项的条件期望为零。
3. 球形干扰项（Spherical Errors）：$\mathrm{Var}(\boldsymbol{\varepsilon} \mid \mathbf{X}) = \sigma^2 \mathbf{I}_n$，包含两个子假设： \begin{itemize}
4. 同方差性（Homoskedasticity）：每个干扰项具有相同的方差 $\sigma^2$。
5. 无自相关（No Autocorrelation）：不同观测间的干扰项互不相关。 \end{itemize}
6. 满秩条件（Full Rank）：$\mathbf{X}'\mathbf{X}$ 可逆，保证 OLS 估计量 $(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}$ 唯一存在。

值得注意的是，定理不要求干扰项服从正态分布。当正态性假设加入时，OLS 进一步成为所有无偏估计量（不仅限于线性类）中方差最小的，即最优无偏估计量（Best Unbiased Estimator, BUE）。

BLUE 的含义

BLUE 的每一个字母都有精确的数学定义：

• 线性（Linear）：估计量 $\hat{\boldsymbol{\beta}}$ 是 $\mathbf{y}$ 的线性函数，即 $\hat{\boldsymbol{\beta}} = \mathbf{C}\mathbf{y}$，其中 $\mathbf{C}$ 为仅依赖于 $\mathbf{X}$ 的常数矩阵。
• 无偏（Unbiased）：$E[\hat{\boldsymbol{\beta}} \mid \mathbf{X}] = \boldsymbol{\beta}$，即在重复抽样中，估计量的期望等于真实参数。
• 最佳（Best）：在所有线性无偏估计量中，OLS 具有最小的协方差矩阵。对于任意备择线性无偏估计量 $\tilde{\boldsymbol{\beta}}$，均有 $\mathrm{Var}(\tilde{\boldsymbol{\beta}} \mid \mathbf{X}) - \mathrm{Var}(\hat{\boldsymbol{\beta}}_{\mathrm{OLS}} \mid \mathbf{X})$ 为半正定矩阵。

换言之，在 BLUE 的框架内，OLS 的每一个参数估计都具有线性无偏类中最小的标准误。这一性质在实际应用中至关重要——它意味着在给定的假设下，不存在任何其他线性无偏方法能产生比 OLS 更精确的参数估计。

证明概要

OLS 估计量的表达式为 $\hat{\boldsymbol{\beta}} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}$。在严格外生性下，$E[\hat{\boldsymbol{\beta}}] = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'E[\mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}] = \boldsymbol{\beta}$，证得无偏性。协方差矩阵为 $\mathrm{Var}(\hat{\boldsymbol{\beta}}) = \sigma^2 (\mathbf{X}'\mathbf{X})^{-1}$。

现在考虑任意线性无偏估计量 $\tilde{\boldsymbol{\beta}} = \left[(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}' + \mathbf{D}\right]\mathbf{y}$，其中 $\mathbf{D}$ 为 $k \times n$ 矩阵。由无偏性约束可推得 $\mathbf{D}\mathbf{X} = \mathbf{0}$。在此条件下计算 $\mathrm{Var}(\tilde{\boldsymbol{\beta}}) = \sigma^2\left[(\mathbf{X}'\mathbf{X})^{-1} + \mathbf{D}\mathbf{D}'\right]$。由于 $\mathbf{D}\mathbf{D}'$ 为半正定矩阵，故 $\mathrm{Var}(\tilde{\boldsymbol{\beta}}) - \mathrm{Var}(\hat{\boldsymbol{\beta}}_{\mathrm{OLS}}) = \sigma^2 \mathbf{D}\mathbf{D}'$ 为半正定，OLS 达到最小方差。证明的核心在于：任何偏离 OLS 的线性无偏估计量都会引入额外方差，而无法换取更小的方差。

定理的局限性与常见误解

高斯–马尔可夫定理尽管优美，但其局限性同样值得警惕：

第一，定理仅在假设成立时有效。若同方差性被违背（即存在异方差），OLS 虽仍保持无偏性和一致性，但不再是最佳线性无偏估计量。此时广义最小二乘法（Generalized Least Squares, GLS）或加权最小二乘法（Weighted Least Squares, WLS）可产生更有效的估计。若外生性被违背（内生性问题），OLS 甚至连无偏性也会丧失。

第二，BLUE 不意味着 OLS 在所有情况下都是最优的。定理的比较范围严格限制在"线性无偏"类中。一旦允许引入少量偏差，诸如岭回归（Ridge Regression）、LASSO或James–Stein估计量等有偏方法可能在均方误差（Mean Squared Error, MSE）的意义上优于 OLS，尤其在高维设定或存在严重多重共线性时。

第三，定理未涉及样本性质。高斯–马尔可夫定理是关于有限样本下的精确结论，但计量经济学中同样高度重视一致性、渐近正态性和渐近有效性等大样本性质。OLS 在更宽松的条件下（如仅需外生性 $E[x_i\varepsilon_i] = 0$）即具有一致性。

第四，"线性于 $y$"不等同于"线性于 $x$"。BLUE 中的"线性"指估计量是 $\mathbf{y}$ 的线性函数，而非模型必须线性于解释变量。因此，包含 $x^2$、$\ln x$ 等非线性变换的模型仍在此框架内，只要参数是以线性形式进入模型的。

在计量经济学中的地位

高斯–马尔可夫定理构成了经典线性回归理论体系的逻辑枢纽。它为 OLS 提供了强有力的理论辩护——在相当宽松且可验证的假设下，OLS 就是最优线性无偏估计。这一结论支撑了 OLS 在实证经济学、金融学和社会科学中的广泛使用。同时，对定理假设的逐一检验（异方差检验、自相关检验、外生性检验）也构成了应用计量经济学的基本诊断流程：当诊断提示假设可能被违背时，研究者需要转向稳健标准误（Huber–White Sandwich Estimator）、工具变量法（Instrumental Variables）或广义矩方法（Generalized Method of Moments, GMM）等替代策略。因此，深刻理解高斯–马尔可夫定理不仅是掌握计量理论的入口，更是正确开展经验研究的前提。

历史注记

高斯于1795年（时年18岁）在解决天文观测中的轨道拟合问题时独立发明了最小二乘法，并于1809年在《天体运动论》（Theoria Motus Corporum Coelestium）中公开发表。高斯当时已意识到最小二乘估计在某种意义下是最优的，但并未给出严格的数学证明。一个世纪后，马尔可夫在其1900年出版的《概率论》（Wahrscheinlichkeitsrechnung）中首次以严谨的方式表述并证明了该定理，其证明框架至今仍是计量经济学教科书的标准内容。后世将定理冠以两人之名，不仅反映了两位数学家的贡献分工——高斯提供了方法和直觉，马尔可夫提供了证明和严格性——也体现了统计学从18至19世纪的实用工具发展为20世纪严密数学学科的历程。值得一提的是，马尔可夫证明中限于独立同分布的情形，而现代版本中允许解释变量为随机变量并以条件期望形式表述外生性假定，这一推广主要归功于20世纪中期考尔斯委员会（Cowles Commission）在联立方程模型方面的工作。