Frisch-Waugh-Lovell

Frisch–Waugh–Lovell 定理

Frisch–Waugh–Lovell 定理（简称 FWL 定理）是计量经济学中关于多元线性回归中部分回归系数的基本结果。该定理由 Ragnar Frisch 和 Frederick Waugh 于 1933 年提出，后经 Michael Lovell 在 1963 年推广并系统阐述，因此以三人姓氏共同命名。FWL 定理的核心思想在于：在多元回归模型中，当我们只关心某一组自变量的系数时，可以通过一个两步偏回归程序来获得这些系数，该程序在代数上完全等价于完整回归的直接估计。这一结论看似简单，却蕴含了回归分析最深刻的本质——偏效应的识别依赖于其他变量无法解释的那部分变异。

定理的数学表述

考虑线性回归模型：

其中 $\mathbf{y}$ 是 $n \times 1$ 因变量向量，$\mathbf{X}_1$ 是 $n \times k_1$ 矩阵（感兴趣的变量），$\mathbf{X}_2$ 是 $n \times k_2$ 矩阵（控制变量），$\boldsymbol{\varepsilon}$ 是误差项。OLS 估计量 $\hat{\boldsymbol{\beta}}_1$ 可以通过以下两步获得。

第一步——偏除控制变量：将 $\mathbf{y}$ 对 $\mathbf{X}_2$ 回归，得到残差 $\mathbf{e}_{y|2} = \mathbf{M}_2 \mathbf{y}$，其中 $\mathbf{M}_2 = \mathbf{I} - \mathbf{X}_2 (\mathbf{X}_2' \mathbf{X}_2)^{-1} \mathbf{X}_2'$ 是投影到 $\mathbf{X}_2$ 列空间正交补上的对称幂等矩阵。同时，将 $\mathbf{X}_1$ 的每一列分别对 $\mathbf{X}_2$ 回归，得到残差矩阵 $\mathbf{e}_{1|2} = \mathbf{M}_2 \mathbf{X}_1$。这两步操作剔除了 $\mathbf{X}_2$ 对因变量和感兴趣变量的一切线性影响。

第二步——残差回归：将第一步得到的残差 $\mathbf{e}_{y|2}$ 对 $\mathbf{e}_{1|2}$ 进行回归，即：

该回归的 OLS 估计量 $\tilde{\boldsymbol{\beta}}_1 = (\mathbf{X}_1' \mathbf{M}_2 \mathbf{X}_1)^{-1} \mathbf{X}_1' \mathbf{M}_2 \mathbf{y}$ 与完整回归中 $\boldsymbol{\beta}_1$ 的 OLS 估计量 $\hat{\boldsymbol{\beta}}_1$ 完全一致。换言之，无论采用直接多元回归还是两步偏回归，得到的系数估计值完全相同。

直观理解

FWL 定理的直观含义清晰而深刻：要估计 $\mathbf{X}_1$ 对 $\mathbf{y}$ 的偏效应，首先剔除 $\mathbf{X}_2$ 对 $\mathbf{y}$ 和 $\mathbf{X}_1$ 各自的影响，然后仅利用剩余变异进行回归。这一过程体现了一个核心计量经济学思想——回归系数衡量的正是"在控制其他变量不变的情况下"某一变量变化所产生的边际影响。如果 $\mathbf{X}_1$ 中几乎所有的变异都能被 $\mathbf{X}_2$ 解释（即 $\mathbf{e}_{1|2}$ 接近于零），那么 $\hat{\boldsymbol{\beta}}_1$ 的方差将会极大，这种情况被称为多重共线性。

经济含义与应用

FWL 定理具有极为重要的理论和实践价值。

控制变量的作用机制：在实证研究中，研究者通常关注某个核心解释变量（如教育年限对收入的影响），同时需要控制其他因素（如年龄、性别、工作经验、地区差异）。FWL 定理明确了控制变量的精确作用——通过偏回归，我们实际上是在利用被解释变量和核心解释变量中不能被控制变量解释的部分来估计因果关系。这为研究设计的"控制策略"提供了严密的数学基础。

部分回归图：FWL 定理直接导出了部分回归图（added-variable plot）的理论依据。该图的横轴是 $\mathbf{e}_{1|2}$（核心变量在控制其他变量后的变异），纵轴是 $\mathbf{e}_{y|2}$（因变量在控制其他变量后的变异）。图中散点拟合线的斜率正是 $\hat{\beta}_1$，这使得研究者能够直观地检验回归关系的线性假设是否合理、是否存在异常值或高杠杆点。部分回归图是回归诊断中最有效的可视化工具之一。

高维固定效应模型：在含有大量虚拟变量的面板数据模型中（如公司固定效应加年份固定效应，可能包含数千个虚拟变量），直接计算 OLS 估计面临严重的维度灾难。FWL 定理表明，可以先通过组内变换（within transformation）剔除固定效应，然后仅对核心变量进行回归。这大幅降低了计算复杂度，使得包含数万个截面单元的固定效应模型可以高效估计。

省略变量偏误的推导：FWL 定理为理解省略变量偏误提供了简洁的代数框架。若真实模型包含 $\mathbf{X}_1$ 和 $\mathbf{X}_2$，但研究者遗漏了 $\mathbf{X}_2$，则偏误为 $(\mathbf{X}_1' \mathbf{X}_1)^{-1} \mathbf{X}_1' \mathbf{X}_2 \boldsymbol{\beta}_2$。这正是将 $\mathbf{X}_2$ 对 $\mathbf{X}_1$ 回归的系数向量乘以 $\boldsymbol{\beta}_2$——偏误的方向和大小取决于遗漏变量与包含变量的相关性及其对因变量的真实效应。这一公式在因果推断中极为重要。

与其他概念的关联

FWL 定理与若干重要理论概念密切相关。

投影与正交性：矩阵 $\mathbf{M}_2$ 在几何上表示到 $\mathbf{X}_2$ 列空间正交补的正交投影。整个回归过程可以理解为：将 $\mathbf{y}$ 向子空间 $\text{span}(\mathbf{X}_1, \mathbf{X}_2)$ 投影，而 $\boldsymbol{\beta}_1$ 对应的分量是在正交于 $\mathbf{X}_2$ 的方向上测量的。这一几何视角揭示了回归分析的本质——信号分解与正交化。

高斯-马尔可夫定理：在经典线性回归假设下，OLS 估计量是BLUE。FWL 定理不仅提供了该估计量的一种解析构造方式，还揭示了其方差结构：$\text{Var}(\hat{\boldsymbol{\beta}}_1) = \sigma^2 (\mathbf{X}_1' \mathbf{M}_2 \mathbf{X}_1)^{-1}$，这取决于 $\mathbf{X}_1$ 中不能被 $\mathbf{X}_2$ 解释的变异。变异越大，估计越精确。

广义最小二乘：FWL 定理可以自然地推广到 GLS 设定。在存在异方差或自相关的情况下，只需将普通投影矩阵替换为加权投影矩阵 $\mathbf{M}_2^\Omega = \mathbf{I} - \mathbf{X}_2(\mathbf{X}_2' \boldsymbol{\Omega}^{-1} \mathbf{X}_2)^{-1} \mathbf{X}_2' \boldsymbol{\Omega}^{-1}$，两步程序仍然成立。这进一步扩展了该定理的适用范围。

历史背景

Frisch 和 Waugh 最初的工作发表于 1933 年的 Econometrica，关注的是如何从时间序列数据中去除线性趋势。他们发现，直接对包含时间趋势变量的模型进行回归，与先剔除趋势再回归，得到的趋势变量以外的系数完全一致。二十年后，Lovell 将此结果推广到一般线性回归框架，并明确阐述了其作为计量经济学基础工具的地位。FWL 定理的持久生命力在于它揭示了回归分析中"控制"概念的本质，这一思想在当今因果推断和机器学习领域仍然焕发着旺盛的活力。