最小二乘法 (Ordinary Least Squares, OLS)
最小二乘法 （Ordinary Least Squares，简称OLS）是回归分析 中最基础且应用最广泛的参数估计方法。其核心思想是：选择一组参数，使得所有观测值与模型预测值之间的残差平方和 （Residual Sum of Squares, RSS）达到最小。该方法由高斯 （Carl Friedrich Gauss）于1809年正式发表，后经马尔可夫 （Andrey Markov）等人在20世纪初建立严格的统计理论基础，成为计量经济学的基石。
基本设定与估计量
考虑经典线性回归模型：
y i = β 0 + β 1 x i 1 + ⋯ + β k x i k + ϵ i = x i ′ β + ϵ i , i = 1 , … , n y_i = \beta_0 + \beta_1 x_{i1} + \cdots + \beta_k x_{ik} + \epsilon_i = \mathbf{x}_i'\boldsymbol{\beta} + \epsilon_i, \quad i = 1, \ldots, n y i = β 0 + β 1 x i 1 + ⋯ + β k x ik + ϵ i = x i ′ β + ϵ i , i = 1 , … , n 其中 y i y_i y i x i \mathbf{x}_i x i k k k β \boldsymbol{\beta} β ϵ i \epsilon_i ϵ i 误差项 ，捕获模型未能解释的随机因素。OLS的核心思路简洁而直观：在所有可能的参数取值中，选择使得预测误差的平方和最小化的那一组。形式上，OLS估计量通过求解如下极小化问题得到：
β ^ OLS = arg min β ∑ i = 1 n ( y i − x i ′ β ) 2 \hat{\boldsymbol{\beta}}_{\text{OLS}} = \arg\min_{\boldsymbol{\beta}} \sum_{i=1}^{n} (y_i - \mathbf{x}_i'\boldsymbol{\beta})^2 β ^ OLS = arg β min i = 1 ∑ n ( y i − x i ′ β ) 2 对目标函数关于 β \boldsymbol{\beta} β ( X ′ X ) (\mathbf{X}'\mathbf{X}) ( X ′ X )
β ^ OLS = ( X ′ X ) − 1 X ′ y \hat{\boldsymbol{\beta}}_{\text{OLS}} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y} β ^ OLS = ( X ′ X ) − 1 X ′ y 其中 X \mathbf{X} X n × k n \times k n × k k k k y \mathbf{y} y n × 1 n \times 1 n × 1 ( X ′ X ) (\mathbf{X}'\mathbf{X}) ( X ′ X ) 完全多重共线性 ——若某一变量可由其余变量的线性组合精确表出，则矩阵不可逆，OLS无法唯一求解。
高斯-马尔可夫定理
OLS之所以在计量经济学中占据核心地位，其理论基石是高斯-马尔可夫定理 。该定理在一组标准假定下确立了OLS的最优性。这些假定包括：
线性性 （Linearity）：因变量 y y y β \boldsymbol{\beta} β y = X β + ϵ \mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon} y = X β + ϵ 严格外生性 （Strict Exogeneity）：误差项的条件期望为零，E [ ϵ i ∣ X ] = 0 \mathbb{E}[\epsilon_i \mid \mathbf{X}] = 0 E [ ϵ i ∣ X ] = 0 无完全多重共线性 （No Perfect Collinearity）：设计矩阵 X \mathbf{X} X X ′ X \mathbf{X}'\mathbf{X} X ′ X 球面误差方差 （Spherical Error Variance）：Var ( ϵ ∣ X ) = σ 2 I n \text{Var}(\boldsymbol{\epsilon} \mid \mathbf{X}) = \sigma^2 \mathbf{I}_n Var ( ϵ ∣ X ) = σ 2 I n 同方差 性且无自相关 ，即每一观测的误差方差相等，不同观测的误差互不相关。在以上四条假定同时满足时，高斯-马尔可夫定理断言：OLS估计量是最佳线性无偏估计量 （Best Linear Unbiased Estimator，简称BLUE）。具体而言，在全体关于 y \mathbf{y} y c ′ β \mathbf{c}'\boldsymbol{\beta} c ′ β c \mathbf{c} c c ′ β ^ OLS \mathbf{c}'\hat{\boldsymbol{\beta}}_{\text{OLS}} c ′ β ^ OLS
Var ( c ′ β ^ OLS ∣ X ) ≤ Var ( c ′ β ~ ∣ X ) \text{Var}(\mathbf{c}'\hat{\boldsymbol{\beta}}_{\text{OLS}} \mid \mathbf{X}) \leq \text{Var}(\mathbf{c}'\tilde{\boldsymbol{\beta}} \mid \mathbf{X}) Var ( c ′ β ^ OLS ∣ X ) ≤ Var ( c ′ β ~ ∣ X ) OLS估计量的方差-协方差矩阵具有简洁的解析形式：
Var ( β ^ OLS ∣ X ) = σ 2 ( X ′ X ) − 1 \text{Var}(\hat{\boldsymbol{\beta}}_{\text{OLS}} \mid \mathbf{X}) = \sigma^2 (\mathbf{X}'\mathbf{X})^{-1} Var ( β ^ OLS ∣ X ) = σ 2 ( X ′ X ) − 1 实际应用中，未知的误差方差 σ 2 \sigma^2 σ 2 σ ^ 2 = ∑ i = 1 n ϵ ^ i 2 n − k \hat{\sigma}^2 = \frac{\sum_{i=1}^{n} \hat{\epsilon}_i^2}{n - k} σ ^ 2 = n − k ∑ i = 1 n ϵ ^ i 2 ϵ ^ i = y i − x i ′ β ^ OLS \hat{\epsilon}_i = y_i - \mathbf{x}_i'\hat{\boldsymbol{\beta}}_{\text{OLS}} ϵ ^ i = y i − x i ′ β ^ OLS n − k n - k n − k σ ^ 2 \hat{\sigma}^2 σ ^ 2 σ 2 \sigma^2 σ 2
渐近性质与大样本理论
高斯-马尔可夫定理依赖的球面误差方差假定在实证研究中常常不成立。当存在异方差 （即 Var ( ϵ i ∣ X ) \text{Var}(\epsilon_i \mid \mathbf{X}) Var ( ϵ i ∣ X ) i i i 一致性 和渐近正态性 。这是OLS得以广泛应用的深层原因：即使部分假定被违反，只要核心的均值独立条件（E [ ϵ i ∣ x i ] = 0 \mathbb{E}[\epsilon_i \mid \mathbf{x}_i] = 0 E [ ϵ i ∣ x i ] = 0
具体而言，在大样本下OLS估计量满足：
n ( β ^ OLS − β ) → d N ( 0 , Q x x − 1 Ω Q x x − 1 ) \sqrt{n}(\hat{\boldsymbol{\beta}}_{\text{OLS}} - \boldsymbol{\beta}) \xrightarrow{d} N(\mathbf{0}, \mathbf{Q}_{xx}^{-1}\boldsymbol{\Omega}\mathbf{Q}_{xx}^{-1}) n ( β ^ OLS − β ) d N ( 0 , Q xx − 1 Ω Q xx − 1 ) 其中 Q x x = plim 1 n X ′ X \mathbf{Q}_{xx} = \text{plim } \frac{1}{n}\mathbf{X}'\mathbf{X} Q xx = plim n 1 X ′ X Ω = plim 1 n X ′ ϵ ϵ ′ X \boldsymbol{\Omega} = \text{plim } \frac{1}{n}\mathbf{X}'\boldsymbol{\epsilon}\boldsymbol{\epsilon}'\mathbf{X} Ω = plim n 1 X ′ ϵ ϵ ′ X 异方差稳健标准误 （Huber-White sandwich estimator）进行有效推断：
Var ^ ( β ^ ) = ( X ′ X ) − 1 ( ∑ i = 1 n ϵ ^ i 2 x i x i ′ ) ( X ′ X ) − 1 \widehat{\text{Var}}(\hat{\boldsymbol{\beta}}) = (\mathbf{X}'\mathbf{X})^{-1} \left( \sum_{i=1}^{n} \hat{\epsilon}_i^2 \mathbf{x}_i \mathbf{x}_i' \right) (\mathbf{X}'\mathbf{X})^{-1} Var ( β ^ ) = ( X ′ X ) − 1 ( i = 1 ∑ n ϵ ^ i 2 x i x i ′ ) ( X ′ X ) − 1 该估计量的形式如三明治——两侧为相同的 ( X ′ X ) − 1 (\mathbf{X}'\mathbf{X})^{-1} ( X ′ X ) − 1 聚类稳健标准误 。
拟合优度与模型诊断
OLS估计完成后，研究者通常首先报告决定系数 R 2 R^2 R 2 R 2 = 1 − RSS TSS R^2 = 1 - \frac{\text{RSS}}{\text{TSS}} R 2 = 1 − TSS RSS R 2 R^2 R 2 R 2 R^2 R 2 R 2 R^2 R 2 R 2 R^2 R 2
OLS估计量的一致性从根本上依赖于外生性假定 E [ x i ϵ i ] = 0 \mathbb{E}[\mathbf{x}_i \epsilon_i] = 0 E [ x i ϵ i ] = 0 遗漏变量偏误 、测量误差 以及联立性 偏差），OLS不一致，其概率极限偏离真实参数值。此种情形需借助工具变量 估计策略——例如两阶段最小二乘法 （2SLS）——来实现一致估计。此外，OLS对异常值 （outliers）高度敏感：由于目标函数为残差的平方和，单个偏离极远的观测便可对估计结果产生不成比例的杠杆效应。稳健回归 （如Huber的M估计或分位数回归）通过对残差施加线性惩罚或绝对值惩罚，在存在离群点的情况下提供更可靠的参数估计。
经济学中的应用与扩展
OLS是实证经济学研究中使用频率最高的统计工具，其应用遍及经济学的各个分支。在劳动经济学 中，明瑟工资方程 以受教育年限和工作经验的对数工资回归是OLS的经典应用场景；在金融经济学 中，资本资产定价模型 （CAPM）的β \beta β 发展经济学 中，跨国增长回归将人均GDP增长率对初始收入水平、储蓄率和人力资本等变量进行OLS拟合，以检验增长理论。
OLS的框架具有极强的可拓展性。加权最小二乘法 （WLS）在已知异方差函数形式时通过对各观测施加不同权重提高效率；广义最小二乘法 （GLS）将OLS推广至任意形式的误差协方差矩阵；非线性最小二乘法 （NLS）处理参数非线性进入模型的场合；而面板数据 中的固定效应和随机效应估计量均可视为在变换后数据上应用OLS。在当代经济学训练中，OLS不仅是第一门计量课程的核心内容，更是理解所有后续高级方法——从工具变量到广义矩估计 （GMM），从断点回归 到双重差分 ——的必备基础。
关于知经 KNOWECON
知经 KNOWECON 是深圳市卢可教育科技有限公司旗下的教育科技品牌，长期面向北京大学、清华大学、中国人民大学等顶尖院校，提供经济学、金融学、统计学、管理学等相关科目的专业课考研辅导与复试辅导。每年都有数十名同学在我们的帮助下完成系统备考，并成功进入理想院校。
知经主讲人喵喵学长毕业于北京大学汇丰商学院经济学专业和新加坡国立大学金融工程专业，获经济学硕士与金融工程硕士学位。他同时也是软件工程师和教育科技创业者，长期探索用讲义、题库、记忆系统、智能答疑与学习数据工具改善专业课学习体验。
我们相信，好的考研辅导不只是押题和陪跑，更是把复杂知识讲清楚、把复习路径设计清楚，并用技术让学习过程更可追踪、更可反馈、更可坚持。