OLS估计量 （Ordinary Least Squares Estimator，普通最小二乘估计量）是回归分析中最基础且应用最广泛的参数估计方法。其核心思想是选择模型参数，使得被解释变量的实际观测值与模型预测值之间的残差平方和最小化。OLS估计量在古典线性回归模型的假设下具有最优线性无偏性质（BLUE），是计量经济学与统计建模的基石工具。该方法由德国数学家卡尔·弗里德里希·高斯（Carl Friedrich Gauss）于19世纪初提出，后经马尔可夫（Andrey Markov）等人的系统化发展，至今仍是所有实证研究中出场频率最高的估计方法。
1. 模型设定与估计公式
考虑标准的多元线性回归模型。对于 i = 1 , 2 , … , n i = 1, 2, \ldots, n i = 1 , 2 , … , n
y i = β 0 + β 1 x i 1 + β 2 x i 2 + ⋯ + β k x i k + ε i y_i = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \cdots + \beta_k x_{ik} + \varepsilon_i y i = β 0 + β 1 x i 1 + β 2 x i 2 + ⋯ + β k x ik + ε i 其中 y i y_i y i x i j x_{ij} x ij j j j β j \beta_j β j ε i \varepsilon_i ε i
y = X β + ε \mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon} y = X β + ε 这里 y \mathbf{y} y n × 1 n \times 1 n × 1 X \mathbf{X} X n × ( k + 1 ) n \times (k+1) n × ( k + 1 ) β \boldsymbol{\beta} β ( k + 1 ) × 1 (k+1) \times 1 ( k + 1 ) × 1 ε \boldsymbol{\varepsilon} ε n × 1 n \times 1 n × 1
OLS估计量 β ^ \hat{\boldsymbol{\beta}} β ^
β ^ = arg min β S ( β ) = arg min β ∑ i = 1 n ( y i − x i ⊤ β ) 2 = arg min β ( y − X β ) ⊤ ( y − X β ) \hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} S(\boldsymbol{\beta}) = \arg\min_{\boldsymbol{\beta}} \sum_{i=1}^n (y_i - \mathbf{x}_i^\top\boldsymbol{\beta})^2 = \arg\min_{\boldsymbol{\beta}} (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})^\top (\mathbf{y} - \mathbf{X}\boldsymbol{\beta}) β ^ = arg β min S ( β ) = arg β min i = 1 ∑ n ( y i − x i ⊤ β ) 2 = arg β min ( y − X β ) ⊤ ( y − X β ) 将目标函数展开并对 β \boldsymbol{\beta} β X ⊤ X β = X ⊤ y \mathbf{X}^\top\mathbf{X}\boldsymbol{\beta} = \mathbf{X}^\top\mathbf{y} X ⊤ X β = X ⊤ y X ⊤ X \mathbf{X}^\top\mathbf{X} X ⊤ X
β ^ = ( X ⊤ X ) − 1 X ⊤ y \hat{\boldsymbol{\beta}} = (\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top\mathbf{y} β ^ = ( X ⊤ X ) − 1 X ⊤ y 这一公式简洁而优美，是线性回归理论的核心结果。其成立的关键前提是矩阵 X ⊤ X \mathbf{X}^\top\mathbf{X} X ⊤ X
2. 高斯-马尔可夫定理与BLUE性质
高斯-马尔可夫定理（Gauss–Markov Theorem）为OLS估计量提供了最重要的理论支撑。在满足以下古典线性回归模型假设的条件下，OLS估计量是所有线性无偏估计量中方差最小的，即具备BLUE（Best Linear Unbiased Estimator）性质：
古典假设条件：
线性性 ：模型关于参数 β \boldsymbol{\beta} β 严格外生性 ：E [ ε i ∣ X ] = 0 \mathbb{E}[\varepsilon_i | \mathbf{X}] = 0 E [ ε i ∣ X ] = 0 球面误差方差 ：Var ( ε ∣ X ) = σ 2 I n \text{Var}(\boldsymbol{\varepsilon} | \mathbf{X}) = \sigma^2 \mathbf{I}_n Var ( ε ∣ X ) = σ 2 I n 满秩条件 ：rank ( X ) = k + 1 < n \text{rank}(\mathbf{X}) = k+1 < n rank ( X ) = k + 1 < n （可选）正态性 ：ε ∣ X ∼ N ( 0 , σ 2 I ) \boldsymbol{\varepsilon} | \mathbf{X} \sim N(\mathbf{0}, \sigma^2 \mathbf{I}) ε ∣ X ∼ N ( 0 , σ 2 I ) 在这些假设下，OLS估计量具有以下核心性质：
无偏性 ：E [ β ^ ∣ X ] = β \mathbb{E}[\hat{\boldsymbol{\beta}} | \mathbf{X}] = \boldsymbol{\beta} E [ β ^ ∣ X ] = β 有效性 ：在全体线性无偏估计量中，β ^ \hat{\boldsymbol{\beta}} β ^ 一致性 ：当样本量 n → ∞ n \to \infty n → ∞ β ^ → p β \hat{\boldsymbol{\beta}} \xrightarrow{p} \boldsymbol{\beta} β ^ p β OLS估计量的方差-协方差矩阵为：
Var ( β ^ ∣ X ) = σ 2 ( X ⊤ X ) − 1 \text{Var}(\hat{\boldsymbol{\beta}} | \mathbf{X}) = \sigma^2 (\mathbf{X}^\top\mathbf{X})^{-1} Var ( β ^ ∣ X ) = σ 2 ( X ⊤ X ) − 1 其中误差方差 σ 2 \sigma^2 σ 2 σ ^ 2 = e ⊤ e n − k − 1 \hat{\sigma}^2 = \frac{\mathbf{e}^\top\mathbf{e}}{n-k-1} σ ^ 2 = n − k − 1 e ⊤ e e = y − X β ^ \mathbf{e} = \mathbf{y} - \mathbf{X}\hat{\boldsymbol{\beta}} e = y − X β ^ n − k − 1 n-k-1 n − k − 1 σ ^ 2 \hat{\sigma}^2 σ ^ 2
3. OLS估计量的几何解释
从线性代数的几何视角审视，OLS估计量具有深刻而直观的解读。设计矩阵 X \mathbf{X} X k + 1 k+1 k + 1 ( k + 1 ) (k+1) ( k + 1 ) C ( X ) ⊆ R n \mathcal{C}(\mathbf{X}) \subseteq \mathbb{R}^n C ( X ) ⊆ R n y \mathbf{y} y y \mathbf{y} y C ( X ) \mathcal{C}(\mathbf{X}) C ( X ) y ^ = X β ^ \hat{\mathbf{y}} = \mathbf{X}\hat{\boldsymbol{\beta}} y ^ = X β ^
投影矩阵（帽子矩阵）定义为 P = X ( X ⊤ X ) − 1 X ⊤ \mathbf{P} = \mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top P = X ( X ⊤ X ) − 1 X ⊤ y ^ = P y \hat{\mathbf{y}} = \mathbf{P}\mathbf{y} y ^ = Py e = y − y ^ = ( I − P ) y \mathbf{e} = \mathbf{y} - \hat{\mathbf{y}} = (\mathbf{I} - \mathbf{P})\mathbf{y} e = y − y ^ = ( I − P ) y C ( X ) \mathcal{C}(\mathbf{X}) C ( X ) P \mathbf{P} P P 2 = P \mathbf{P}^2 = \mathbf{P} P 2 = P P ⊤ = P \mathbf{P}^\top = \mathbf{P} P ⊤ = P
从几何角度理解OLS还有一个重要优势：可以直观地解释为什么增加解释变量会降低残差平方和——更多解释变量意味着投影的目标子空间维度更高，y \mathbf{y} y
4. 拟合优度与模型评价
评价OLS估计量拟合效果的常用指标是决定系数 R 2 R^2 R 2
R 2 = 1 − e ⊤ e ( y − y ˉ 1 ) ⊤ ( y − y ˉ 1 ) = ESS TSS R^2 = 1 - \frac{\mathbf{e}^\top\mathbf{e}}{(\mathbf{y} - \bar{y}\mathbf{1})^\top(\mathbf{y} - \bar{y}\mathbf{1})} = \frac{\text{ESS}}{\text{TSS}} R 2 = 1 − ( y − y ˉ 1 ) ⊤ ( y − y ˉ 1 ) e ⊤ e = TSS ESS 其中TSS为总离差平方和，ESS为回归平方和（解释部分）。R 2 R^2 R 2 R 2 R^2 R 2 R 2 R^2 R 2 R 2 R^2 R 2
R ˉ 2 = 1 − e ⊤ e / ( n − k − 1 ) ( y − y ˉ 1 ) ⊤ ( y − y ˉ 1 ) / ( n − 1 ) \bar{R}^2 = 1 - \frac{\mathbf{e}^\top\mathbf{e}/(n-k-1)}{(\mathbf{y} - \bar{y}\mathbf{1})^\top(\mathbf{y} - \bar{y}\mathbf{1})/(n-1)} R ˉ 2 = 1 − ( y − y ˉ 1 ) ⊤ ( y − y ˉ 1 ) / ( n − 1 ) e ⊤ e / ( n − k − 1 ) 此外，信息准则如AIC（Akaike Information Criterion）和BIC（Bayesian Information Criterion）也在模型比较中发挥着重要作用。
5. 假设违背的处理方法
5.1 异方差与自相关
如果球面误差假设被违反——即误差项存在异方差（Var ( ε i ) ≠ σ 2 \text{Var}(\varepsilon_i) \neq \sigma^2 Var ( ε i ) = σ 2 Cov ( ε i , ε j ) ≠ 0 \text{Cov}(\varepsilon_i, \varepsilon_j) \neq 0 Cov ( ε i , ε j ) = 0 i ≠ j i \neq j i = j
异方差稳健标准误 （White标准误，1980）：在无需知道异方差具体形式的情况下，通过"三明治"估计量修正方差-协方差矩阵异方差自相关一致标准误 （Newey-West标准误，1987）：同时处理异方差和自相关，适用于时间序列数据可行广义最小二乘法 （FGLS）：通过对误差方差-协方差结构建模，以加权最小二乘法获得更有效的估计5.2 多重共线性
当解释变量之间存在高度相关关系时，X ⊤ X \mathbf{X}^\top\mathbf{X} X ⊤ X
5.3 内生性
最严重的假设违背是内生性问题，即解释变量与误差项相关（E [ ε i ∣ X ] ≠ 0 \mathbb{E}[\varepsilon_i | \mathbf{X}] \neq 0 E [ ε i ∣ X ] = 0
6. OLS估计量的应用与局限
OLS估计量因其计算简便、结果直观、理论基础坚实而广泛应用于经济学、金融学、社会学、流行病学等众多领域。回归系数 β ^ j \hat{\beta}_j β ^ j x j x_j x j y y y
然而，OLS估计量也存在明显局限：它对异常值高度敏感，少数极端观测可能严重扭曲估计结果；它要求正确的模型设定，包括适当的函数形式和完整的变量选择，否则将产生遗漏变量偏误；它无法自动处理非线性关系，需要研究者手动引入交互项或多项式项。在大数据时代，当解释变量个数 k k k n n n
关于知经 KNOWECON
知经 KNOWECON 是深圳市卢可教育科技有限公司旗下的教育科技品牌，长期面向北京大学、清华大学、中国人民大学等顶尖院校，提供经济学、金融学、统计学、管理学等相关科目的专业课考研辅导与复试辅导。每年都有数十名同学在我们的帮助下完成系统备考，并成功进入理想院校。
知经主讲人喵喵学长毕业于北京大学汇丰商学院经济学专业和新加坡国立大学金融工程专业，获经济学硕士与金融工程硕士学位。他同时也是软件工程师和教育科技创业者，长期探索用讲义、题库、记忆系统、智能答疑与学习数据工具改善专业课学习体验。
我们相信，好的考研辅导不只是押题和陪跑，更是把复杂知识讲清楚、把复习路径设计清楚，并用技术让学习过程更可追踪、更可反馈、更可坚持。