KNOWECON WIKI

ARTICLE

Ordinary Least Squares

Ordinary Least Squares 普通最小二乘法（Ordinary Least Squares, OLS）是计量经济学和统计学中最基础、应用最广泛的参数估计方法。其核心思想是通过最小化因变量观测值与模型预测值之间差值的平方和，来确定线性回归模型中的未知参数。OLS 由德国数学家卡尔·弗里德里希·高斯（Carl Friedrich Gauss）在

浏览 0 更新 2025-10-26

Ordinary Least Squares

普通最小二乘法（Ordinary Least Squares, OLS）是计量经济学和统计学中最基础、应用最广泛的参数估计方法。其核心思想是通过最小化因变量观测值与模型预测值之间差值的平方和，来确定线性回归模型中的未知参数。OLS 由德国数学家卡尔·弗里德里希·高斯（Carl Friedrich Gauss）在 18 世纪末至 19 世纪初提出，后经法国数学家阿德里安-马里·勒让德（Adrien-Marie Legendre）独立发表，最终成为经典线性回归模型的基石。如今，OLS 是实证研究中处理数据的标准工具，在经济学、社会科学、生物学、工程学等领域均有广泛应用。

模型设定

OLS 适用的基本模型是多元线性回归模型（Multiple Linear Regression Model），其一般形式为：

yi=β0+β1xi1+β2xi2+⋯+βkxik+ui,i=1,2,…,ny_i = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \cdots + \beta_k x_{ik} + u_i, \quad i = 1, 2, \dots, n

其中，yi y_i 为因变量（被解释变量），表示第 i i 个观测的响应值；xij x_{ij} 为第 j j 个自变量（解释变量）的第 i i 个观测值；βj \beta_j 为对应的回归系数，反映了在其他条件不变的情况下 xj x_j 每变动一个单位对 y y 的边际影响——这一解释被称为"ceteris paribus"条件，是经济学因果推断的核心概念；ui u_i 为误差项（扰动项），包含了所有未被模型捕捉的、影响 yi y_i 的不可观测因素，如测量误差、遗漏变量和个体随机差异等。在矩阵形式下，上述模型可简洁表示为：

y=Xβ+u\mathbf{y} = \mathbf{X} \boldsymbol{\beta} + \mathbf{u}

其中，y \mathbf{y} 为 n×1 n \times 1 的因变量向量，X \mathbf{X} 为 n×(k+1) n \times (k+1) 的自变量矩阵（通常第一列全为 1，对应截距项），β \boldsymbol{\beta} 为 (k+1)×1 (k+1) \times 1 的系数向量，u \mathbf{u} 为 n×1 n \times 1 的误差向量。矩阵表示法不仅简洁美观，而且便于推导 OLS 估计量的代数性质和大样本理论。

OLS 估计量的推导

OLS 的目标是寻找使残差平方和（Sum of Squared Residuals, SSR）最小的系数估计值 β^ \hat{\boldsymbol{\beta}} ：

min⁡β  SSR(β)=∑i=1n(yi−xi′β)2=(y−Xβ)′(y−Xβ)\min_{\boldsymbol{\beta}} \; SSR(\boldsymbol{\beta}) = \sum_{i=1}^{n} (y_i - \mathbf{x}_i' \boldsymbol{\beta})^2 = (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})'(\mathbf{y} - \mathbf{X}\boldsymbol{\beta})

将目标函数对 β \boldsymbol{\beta} 求导并令一阶条件为零，得到正规方程组（Normal Equations）：

X′Xβ^=X′y\mathbf{X}'\mathbf{X}\hat{\boldsymbol{\beta}} = \mathbf{X}'\mathbf{y}

若 X′X \mathbf{X}'\mathbf{X} 满秩（即存在逆矩阵），则 OLS 估计量具有优美的显式解：

β^=(X′X)−1X′y\hat{\boldsymbol{\beta}} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}

该公式是线性回归理论的标志性结果，表明 OLS 估计量是数据矩阵 X \mathbf{X} 和因变量向量 y \mathbf{y} 的线性函数。从几何角度看，β^ \hat{\boldsymbol{\beta}} 将 y \mathbf{y} 正交投影到由 X \mathbf{X} 的列向量张成的线性子空间上，投影矩阵为 P=X(X′X)−1X′ \mathbf{P} = \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}' ，残差向量 u^=y−Xβ^ \hat{\mathbf{u}} = \mathbf{y} - \mathbf{X}\hat{\boldsymbol{\beta}} 即为投影残差。β^ \hat{\boldsymbol{\beta}} 的条件协方差矩阵为：

Var(β^∣X)=σ2(X′X)−1Var(\hat{\boldsymbol{\beta}} \mid \mathbf{X}) = \sigma^2 (\mathbf{X}'\mathbf{X})^{-1}

其中 σ2=Var(ui) \sigma^2 = Var(u_i) 为误差方差，其无偏估计量为 σ^2=SSR/(n−k−1) \hat{\sigma}^2 = SSR/(n - k - 1) ，分母使用的自由度校正保证了估计量的无偏性。误差方差的估计用于构造回归系数的标准误、置信区间和假设检验统计量，是推断性分析的基础。

高斯-马尔可夫定理

高斯-马尔可夫定理（Gauss-Markov Theorem）是 OLS 的理论基石，也是每一位计量经济学学习者最早接触的核心定理之一。该定理指出，在经典线性回归模型的五条关键假设下——即线性于参数、随机抽样、零条件均值 E(ui∣X)=0 E(u_i \mid \mathbf{X}) = 0 、同方差性 Var(ui∣X)=σ2 Var(u_i \mid \mathbf{X}) = \sigma^2 、无完全共线性——OLS 估计量在所有线性无偏估计量中具有最小方差，即 OLS 是 BLUE（Best Linear Unbiased Estimator，最优线性无偏估计量）。这意味着在所有可考虑的线性无偏方法中，OLS 的估计效率最高，估计结果最为稳定。这一定理赋予了 OLS 在经典框架下的核心地位，使其成为实证研究中的默认选择。

统计推断与拟合优度

在得到 OLS 估计量后，研究者需要对其统计显著性进行推断。单个系数的显著性检验使用 t t 统计量：t=β^j/se(β^j) t = \hat{\beta}_j / se(\hat{\beta}_j) ，在经典假设下服从自由度为 n−k−1 n - k - 1 的 t t 分布。多个系数的联合显著性检验使用 F F 统计量，比较受约束模型与无约束模型的残差平方和差异。这些推断依赖于误差项的正态性假设（或大样本近似下的渐近正态性）。

模型的拟合优度由决定系数 R2 R^2 衡量：

R2=ESSTSS=1−SSRTSSR^2 = \frac{ESS}{TSS} = 1 - \frac{SSR}{TSS}

其中 TSS=∑(yi−yˉ)2 TSS = \sum(y_i - \bar{y})^2 为总平方和，反映 y y 的总变异度；ESS=∑(y^i−yˉ)2 ESS = \sum(\hat{y}_i - \bar{y})^2 为回归平方和，代表模型解释的变异部分。R2 R^2 取值在 0 到 1 之间，数值越大表示自变量对因变量变异的解释能力越强。在多元回归中，加入更多自变量总会提高 R2 R^2 ，即使这些变量实际上与 y y 无关。因此调整 R2 R^2 （Adjusted R2 R^2 ）通过对额外参数施加惩罚，提供了更可靠的模型比较指标，其公式为 Rˉ2=1−SSR/(n−k−1)TSS/(n−1) \bar{R}^2 = 1 - \frac{SSR/(n-k-1)}{TSS/(n-1)} 。

假设违反与应对策略

OLS 的优良性质建立在若干理想假设之上。当这些假设被违反时，需要采取相应的修正策略。异方差性（Heteroskedasticity）指误差方差随观测变化，在截面数据中尤为常见。此时 OLS 虽仍无偏且一致，但不再是有效的，标准误的估计也存在偏差。解决方法包括使用异方差稳健标准误（White 标准误）或采用加权最小二乘法（WLS）。多重共线性（Multicollinearity）指自变量之间存在高度相关关系，虽不影响无偏性但会显著放大系数估计的方差，导致估计不稳定。可通过方差膨胀因子（VIF）进行诊断，VIF 超过 10 通常被视为严重共线性的警示信号。应对方法包括删除相关变量、增加样本量或使用岭回归等正则化技术。自相关（Autocorrelation）常见于时间序列数据，指误差项在不同时期之间存在相关性，违反独立同分布假设。需使用 Newey-West 标准误或广义最小二乘法（GLS）予以修正。内生性（Endogeneity）是最为严重的问题，源于遗漏变量偏误、测量误差或反向因果，导致 E(u∣X)≠0 E(u \mid \mathbf{X}) \neq 0 ，此时 OLS 失去一致性。解决内生性的常用方法包括工具变量法（IV）、两阶段最小二乘法（2SLS）、固定效应模型或差分 GMM 估计等。理解这些假设违反的机理及其应对方法是正确使用 OLS 的关键前提。