residual

residual

定义

Residual（残差）在统计学和计量经济学中定义为观测值 $y_i$ 与模型拟合值 $\hat{y}_i$ 之间的差值：

残差是总体回归模型中不可观测的误差项（error term）$\varepsilon_i$ 的样本对应物。在经典线性回归模型（CLRM）的框架下，残差承载着模型拟合优度检验、假设诊断和模型改进的关键信息。每一个残差都代表模型未能解释的那一部分变异性——它既可能源自随机扰动，也可能反映模型的系统性设定偏误。

残差与误差项的本质区分

理解残差必须首先明确其与误差项的根本区别。误差项 $\varepsilon_i$ 是总体回归模型 $y_i = \mathbf{x}_i'\boldsymbol{\beta} + \varepsilon_i$ 中的理论随机扰动，它来源于变量的遗漏、测量误差或函数形式的设定偏误，在总体层面是不可观测的。而残差 $e_i$ 是样本回归中误差项的可计算估计量，即 $e_i = y_i - \mathbf{x}_i'\hat{\boldsymbol{\beta}}$。用数学语言表述：误差是数据生成过程的特征，残差是估计过程的产物。在经典假设下，OLS 残差是误差项的一致估计，但二者在有限样本中并不等同——残差受到参数估计量 $\hat{\boldsymbol{\beta}}$ 的抽样变异的影响，其方差一般小于误差项的方差。

残差的基本性质

在 OLS 回归中，残差向量 $\mathbf{e} = \mathbf{y} - \hat{\mathbf{y}} = (\mathbf{I} - \mathbf{H})\mathbf{y}$ 具有若干关键性质。第一，残差之和为零：$\sum_{i=1}^n e_i = 0$，这一性质源自 OLS 一阶条件，其直接推论是残差的均值恒等于零（前提是模型包含截距项）。第二，残差与解释变量正交：$\sum_{i=1}^n X_{ij}e_i = 0$ 对所有 $j$ 成立，这意味着残差不包含可由解释变量线性解释的任何信息。第三，残差与拟合值正交：$\sum_{i=1}^n \hat{y}_i e_i = 0$，这是前两个性质的直接推论。第四，残差的方差-协方差矩阵为 $\text{Var}(\mathbf{e}) = \sigma^2(\mathbf{I} - \mathbf{H})$，其中 $\mathbf{H} = \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'$ 是帽子矩阵。这一表达式表明残差之间存在相关性——即使 $\varepsilon_i$ 独立同分布，$e_i$ 也并非独立，且单个残差 $e_i$ 的方差为 $\sigma^2(1 - h_{ii})$，其中 $h_{ii}$ 是第 $i$ 个观测的杠杆值。

残差的类型与扩展

残差的概念在实践中不断丰富，衍生出多种专用形式以适应不同的诊断需求。

普通残差（raw residual）即 $e_i = y_i - \hat{y}_i$，是最直接的残差形式，但其方差依赖于杠杆值 $h_{ii}$，不宜直接用于异常值检测。

标准化残差（standardized residual）定义为 $r_i = e_i / \hat{\sigma}\sqrt{1 - h_{ii}}$，其中 $\hat{\sigma}^2 = \text{RSS}/(n - k - 1)$ 为误差方差的估计。标准化残差的方差近似为 1，便于在不同模型间比较。通常 $|r_i| > 2$ 或 $|r_i| > 3$ 被视为潜在异常值的信号。

学生化残差（studentized residual）亦称剔除残差（deleted residual），其构造思路是剔除第 $i$ 个观测后重新估计模型，然后用该新模型预测第 $i$ 个观测并计算预测误差。外部学生化残差 $t_i$ 服从自由度为 $n - k - 2$ 的 $t$ 分布，比标准化残差对异常值更为敏感，在回归诊断中更受青睐。

偏残差（partial residual）定义为 $e_i^{(j)} = e_i + \hat{\beta}_j X_{ij}$，其本质是从残差中"加回"第 $j$ 个变量的线性效应，再将 $e_i^{(j)}$ 对 $X_{ij}$ 作图即可检验该变量的函数形式是否恰当。若图中呈现明显的非线性模式，则提示需要引入平方项或进行变量变换。

递归残差（recursive residual）适用于时间序列数据，通过逐个增加观测样本递推估计回归系数并计算每一步的预测误差。递归残差在模型结构稳定性检验中具有不可替代的作用——CUSUM 检验和 CUSUMSQ 检验正是基于递归残差构造的。

在广义线性模型（GLM）的框架下，残差的形式进一步扩展。偏差残差（deviance residual）基于单个观测对总体偏差统计量的贡献定义，在大样本下近似正态分布。皮尔逊残差（Pearson residual）为 $r_{Pi} = (y_i - \hat{\mu}_i)/\sqrt{\text{Var}(\hat{\mu}_i)}$，其平方和恰好等于 Pearson 卡方统计量。工作残差（working residual）则来源于 IRLS 算法的迭代过程，是连接线性预测器与响应变量的桥梁。

残差分析的核心应用

残差是回归诊断的核心工具，其应用贯穿模型设定的各个环节。

异方差性诊断是残差分析最经典的应用之一。将残差（或标准化残差）对拟合值作图，若散点呈现扇形或喇叭形展开——残差随拟合值增大而扩散或收窄——则提示异方差的存在。Breusch-Pagan 检验将平方残差对解释变量做辅助回归，通过 LM 统计量检验方差是否随解释变量系统变化。Goldfeld-Quandt 检验则适用于方差单调变化的情形。

自相关性诊断在时间序列回归中至关重要。Durbin-Watson 统计量 $d = \sum_{t=2}^n (e_t - e_{t-1})^2 / \sum_{t=1}^n e_t^2$ 利用残差的一阶自相关系数来检验是否存在序列相关。对于更高阶的自相关结构，Breusch-Godfrey LM 检验提供了更具一般性的框架。

正态性检验可通过残差的直方图、Q-Q 图以及 Jarque-Bera 检验来评估。JB 统计量基于残差的偏度和峰度构造，在大样本下服从 $\chi^2(2)$ 分布。若残差严重偏离正态性，则基于正态假设的小样本推断可能失效，此时应考虑变量变换或使用非参数方法。

异常值与强影响点检测是残差分析的另一重要应用。学生化残差 $|t_i| > 3$ 通常被视为异常值信号。Cook 距离 $D_i = (e_i^2 / (k+1)\hat{\sigma}^2) \cdot (h_{ii} / (1-h_{ii})^2)$ 综合衡量单个观测对回归系数估计的整体影响。DFFITS 和 DFBETAS 则分别刻画每个观测对预测值和每个系数的影响程度。

残差在现代统计学中的延伸

残差的思想已远远超出经典回归分析的边界。在机器学习中，梯度提升（Gradient Boosting）的本质是在函数空间中逐轮拟合伪残差（pseudo-residual）——即损失函数在当前预测处的负梯度。每一轮新加入的基学习器都在"学习残差"，从而使集成模型逐步逼近最优函数。

在深度学习中，残差连接（residual connection）是 ResNet 的核心创新。ResNet 不再直接学习目标映射 $\mathcal{H}(\mathbf{x})$，而是学习残差映射 $\mathcal{F}(\mathbf{x}) = \mathcal{H}(\mathbf{x}) - \mathbf{x}$，再将输入 $\mathbf{x}$ 跨越若干层直接传递到输出。这一设计使梯度得以绕过中间层直接传播到浅层网络，有效缓解了深层网络的梯度消失问题，使得训练数百层的深度网络成为可能。

在时间序列分析中，残差自回归（residual auto-regression）方法将序列分解为确定性部分和随机部分：先用回归模型捕捉趋势和季节效应，再对残差序列建立 ARMA 模型以捕获剩余的相关结构。这种两步法在宏观经济预测中应用广泛。

残差分析还催生了残差拔靴法（residual bootstrap）这一重要的再抽样技术。其基本思路是先用参数方法估计模型并获得残差，再对残差进行有放回重抽样，将重抽样后的残差加回拟合值生成人工样本。残差拔靴法在保持原始协变量结构的同时，能够为非标准分布下的推断提供可靠的置信区间。

残差分析中的常见误区

残差分析虽是实证研究的常规步骤，但实践中存在若干常见误区。其一，误认为残差必须服从严格的正态分布——事实上，在大样本下 CLRM 的正态性假设可因中心极限定理而放松，OLS 估计量的渐近有效性并不要求误差项正态分布。其二，过度追求"完美"的残差图——残差图中的随机散布是理想情形，但轻微的模式未必意味着模型不可接受，研究者应结合模型设定和领域知识综合判断。其三，忽视残差和误差项在有限样本中的系统差异——在包含高杠杆观测的小样本中，OLS 残差可能系统性低估真实误差，此时应借助偏置校正方法或使用留一交叉验证残差。

结语

Residual 在统计学中看似只是一个简单的差值——$e_i = y_i - \hat{y}_i$——但其内涵远超这一简洁公式。从经典回归的诊断工具到现代机器学习的梯度提升，从深度网络的残差连接到时间序列的残差自回归，残差的概念贯穿了整个数据科学的方法论体系。残差承载着模型未能解释的信息，是实证研究者与数据对话的最重要媒介。正如统计学家 George Box 所言："所有模型都是错的，但有些是有用的。"残差分析的价值不在于验证模型的正确性，而在于揭示模型的局限性并指引改进的方向。