KNOWECON WIKI

ARTICLE

部分回归

部分回归 (Partial Regression) 部分回归 (Partial Regression) 是多元线性回归分析中的一个核心概念和技术。它旨在分离并识别单个自变量对因变量的"纯粹"或"边际"影响，即在控制了模型中其他所有自变量的影响之后所剩下的影响。这个过程的理论基础是著名的 Frisch-Waugh-Lovell (FWL) 定理。通过部分回归，

浏览 19 更新 2025-10-25

部分回归 (Partial Regression)

部分回归 (Partial Regression) 是多元线性回归分析中的一个核心概念和技术。它旨在分离并识别单个自变量对因变量的"纯粹"或"边际"影响，即在控制了模型中其他所有自变量的影响之后所剩下的影响。这个过程的理论基础是著名的 Frisch-Waugh-Lovell (FWL) 定理。通过部分回归，我们可以更深刻地理解多元回归中每个系数的含义，并通过一种称为增量变量图 (Added Variable Plots) 的方法将其可视化。

核心思想与直觉

在多元线性回归模型中，例如：

Y=β0+β1X1+β2X2+⋯+βkXk+εY = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \dots + \beta_k X_k + \varepsilon

我们得到的系数 β^1 \hat{\beta}_1 并非是 X1 X_1 与 Y Y 之间简单关系的度量。相反，它是在保持 X2,…,Xk X_2, \dots, X_k 不变的条件下（"其他条件不变"），X1 X_1 每增加一个单位，Y Y 的预期变化量。

但这是如何实现的呢？部分回归提供了一个清晰的步骤化解释：要得到 β1 \beta_1 的影响，我们实际上是在进行一个三步过程：

  1. "净化"因变量 Y Y ：首先，我们将 Y Y 对所有其他自变量（X2,…,Xk X_2, \dots, X_k ）进行回归。这次回归的残差部分，代表了不能被 X2,…,Xk X_2, \dots, X_k 解释的 Y Y 的变异。我们称这部分"净化"后的 Y Y 为 Y∗ Y^* 。
  1. "净化"自变量 X1 X_1 ：接着，我们将我们关心的自变量 X1 X_1 也对所有其他自变量（X2,…,Xk X_2, \dots, X_k ）进行回归。这次回归的残差部分，代表了不能被 X2,…,Xk X_2, \dots, X_k 解释的 X1 X_1 的变异。我们称这部分"净化"后的 X1 X_1 为 X1∗ X_1^* 。这步操作移除了 X1 X_1 中与其它自变量共线性的部分。
  1. 最终回归：最后，我们将第一步得到的残差 Y∗ Y^* 对第二步得到的残差 X1∗ X_1^* 进行一次简单的一元线性回归。这次回归得到的斜率系数，就精确地等于原始多元回归模型中 X1 X_1 的系数 β^1 \hat{\beta}_1 。

这个过程的直觉意义在于：它将 Y Y 和 X1 X_1 中能够被其他变量解释的部分都剔除掉，然后考察两者"纯净"的残余部分之间的关系。这种剥离式的分析方法是计量经济学中处理多变量关系的重要工具，它帮助研究者避免因变量之间相互关联而产生误导性结论。

Frisch-Waugh-Lovell (FWL) 定理

Frisch-Waugh-Lovell (FWL) 定理为上述直觉提供了严格的数学证明。

考虑一个矩阵形式的多元线性回归模型：

y=Xβ+ε\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}

其中，y \mathbf{y} 是 n×1 n \times 1 的因变量向量，X \mathbf{X} 是 n×k n \times k 的自变量矩阵，β \boldsymbol{\beta} 是 k×1 k \times 1 的系数向量，ε \boldsymbol{\varepsilon} 是 n×1 n \times 1 的误差向量。

现在，我们将自变量矩阵 X \mathbf{X} 和系数向量 β \boldsymbol{\beta} 划分为两部分：我们关心的变量 X1 \mathbf{X}_1 （可以是单个或多个变量，维数为 n×k1 n \times k_1 ）和我们希望控制的变量 X2 \mathbf{X}_2 （维数为 n×k2 n \times k_2 ，其中 k1+k2=k k_1 + k_2 = k ）。模型可以重写为：

y=X1β1+X2β2+ε\mathbf{y} = \mathbf{X}_1\boldsymbol{\beta}_1 + \mathbf{X}_2\boldsymbol{\beta}_2 + \boldsymbol{\varepsilon}

我们主要关心的是 β1 \boldsymbol{\beta}_1 的普通最小二乘法 (OLS) 估计量 β^1 \hat{\boldsymbol{\beta}}_1 。

根据FWL定理，估计 β^1 \hat{\boldsymbol{\beta}}_1 的过程等价于以下三步：

  1. 将 y \mathbf{y} 对 X2 \mathbf{X}_2 进行回归，得到残差向量 y∗ \mathbf{y}^* 。在数学上，这是从 y \mathbf{y} 中减去其在由 X2 \mathbf{X}_2 的列向量所张成的空间上的投影。使用零化矩阵 (Annihilator Matrix) M2=I−X2(X2′X2)−1X2′ \mathbf{M}_2 = \mathbf{I} - \mathbf{X}_2(\mathbf{X}_2'\mathbf{X}_2)^{-1}\mathbf{X}_2' ，我们可以将残差写为：
y∗=M2y \mathbf{y}^* = \mathbf{M}_2 \mathbf{y}
  1. 将 X1 \mathbf{X}_1 的每一列分别对 X2 \mathbf{X}_2 进行回归，得到残差矩阵 X1∗ \mathbf{X}_1^* 。同样，这可以表示为：
X1∗=M2X1 \mathbf{X}_1^* = \mathbf{M}_2 \mathbf{X}_1
  1. 将残差 y∗ \mathbf{y}^* 对残差 X1∗ \mathbf{X}_1^* 进行回归。这个简单回归的OLS估计量为：
β^1FWL=(X1∗′X1∗)−1X1∗′y∗ \hat{\boldsymbol{\beta}}_1^{FWL} = (\mathbf{X}_1^{*'}\mathbf{X}_1^*)^{-1}\mathbf{X}_1^{*'}\mathbf{y}^*

FWL定理的惊人之处在于，通过上述步骤得到的估计量 β^1FWL \hat{\boldsymbol{\beta}}_1^{FWL} 与直接对完整模型进行OLS回归所得到的 β1 \boldsymbol{\beta}_1 的子向量估计量是完全相同的：

β^1FWL=β^1\hat{\boldsymbol{\beta}}_1^{FWL} = \hat{\boldsymbol{\beta}}_1

这个定理不仅适用于系数估计，也适用于残差的计算。原始多元回归的残差向量 ε^ \hat{\boldsymbol{\varepsilon}} 与第三步简单回归的残差向量是完全相同的。这一等价性在理论上具有重要意义，它揭示了多元线性回归的本质是对净效应的识别而非简单条件关联。

应用与重要性

  1. 理论理解：FWL定理是理解多元回归系数"其他条件不变"含义的基石。它清晰地表明，每个系数都反映了在剔除其他变量线性影响后，该变量与因变量之间的净关系。这是避免遗漏变量偏误的关键。在实际研究中，这意味着研究者需要审慎选择控制变量，以确保回归系数确实反映了因果效应而非混杂因素带来的相关性。
  1. 增量变量图 (Added Variable Plots)：这是FWL定理最重要的可视化应用。增量变量图，也称为部分回归图 (Partial Regression Plot)，是一个二维散点图，其横轴是残差 X1∗ X_1^* ，纵轴是残差 Y∗ Y^* 。
  • 这个图的斜率正好是多元回归中的系数 β^1 \hat{\beta}_1 。
  • 它能直观展示在控制了其他变量后，X1 X_1 对 Y Y 的边际贡献。
  • 它可以帮助我们识别对特定系数估计有重大影响的异常值 (Outliers) 或强影响点 (Influential Points)。这些点在简单的双变量散点图中可能不明显，但在部分回归图中会暴露出来。
  • 它可以帮助检查 X1 X_1 和 Y Y 之间的关系是否存在非线性，这种非线性可能在多维空间中被掩盖。
  1. 计算效率：在现代计算机普及之前，FWL定理允许经济学家将一个大的、难以处理的回归问题分解成几个小的回归问题，从而在计算上更加可行。在现代计量经济学中，它仍然是处理高维数据（如固定效应模型）时的重要计算策略。例如，在处理有数千个个体的面板数据时，可以通过"去均值化"（一种FWL的应用）来消除个体固定效应，而无需直接估计数千个虚拟变量的系数。这一技巧极大地提升了高维回归的计算可操作性。
  1. 计量经济学理论的基石：FWL定理是许多计量经济学理论推导过程中的一个标准工具，用于简化证明和展示不同估计方法之间的等价性。它在工具变量估计、广义最小二乘法以及分位数回归等扩展模型中都有重要的理论应用。此外，该定理还为理解多重共线性的来源和影响提供了深刻的洞见——如果 X1∗ X_1^* 接近于零向量（即 X1 X_1 几乎可以被 X2 X_2 完全线性表示），则相应的系数将具有很大的标准误，导致估计不精确。