残差项

残差项

定义

在统计学和计量经济学中，残差项（residual term）是指观测值与模型拟合值之间的差异。对于第 $i$ 个观测样本，残差定义为：

其中 $y_i$ 为实际观测值，$\hat{y}_i$ 为模型预测值。残差项是回归分析中最基本的概念之一，它承载着模型拟合优度检验、假设诊断和模型改进的关键信息。

残差与误差项的区别

理解残差项，首先需要区分残差（residual）与误差项（error term）。误差项 $\varepsilon_i$ 是总体回归模型中的不可观测随机扰动，它来源于变量的遗漏、测量误差或模型函数形式的设定偏误。而残差 $e_i$ 是样本回归中误差项的可计算估计量。换言之，误差是理论层面的概念，残差是实证层面的实现。在经典线性回归模型（CLRM）的假定下，残差是误差项的一致估计。

残差的性质

在线性回归模型 $y = X\beta + \varepsilon$ 中，若采用普通最小二乘法（OLS）估计，残差向量 $e = y - X\hat{\beta}$ 具有以下重要性质：

1. 均值为零：在包含截距项的模型中，残差的样本均值恒等于零，即 $\sum_{i=1}^{n} e_i = 0$。
2. 与解释变量正交：残差与每一个解释变量正交，即 $X'e = 0$。这是因为 OLS 的正规方程保证了残差向量与设计矩阵的列空间垂直。
3. 方差非恒定：残差的方差依赖于自变量的取值。残差的方差—协方差矩阵为 $\text{Var}(e) = \sigma^2 (I - H)$，其中 $H = X(X'X)^{-1}X'$ 为帽子矩阵。$H$ 的对角元素 $h_{ii}$ 称为杠杆值，高杠杆点的残差方差较小。
4. 线性变换：残差可表示为 $e = (I - H)y = (I - H)\varepsilon$，说明残差是误差的线性变换，且 $e$ 与 $\hat{y}$ 不相关。

残差的类型

基础残差 $e_i$ 之外，实践中还常用以下几种标准化形式的残差：

标准化残差

标准化残差（standardized residual）定义为 $r_i = e_i / s\sqrt{1 - h_{ii}}$，其中 $s^2 = SSE/(n-k-1)$ 为误差方差的估计，$h_{ii}$ 为第 $i$ 个观测的杠杆值。标准化残差的均值为零，方差近似为 1，便于识别异常值。通常，$|r_i| > 2$ 或 $|r_i| > 3$ 的观测点被视为潜在异常值。

学生化残差

学生化残差（studentized residual）在计算剔除第 $i$ 个观测后的模型估计基础上构造。外部学生化残差 $t_i$ 服从自由度为 $n-k-2$ 的 $t$ 分布，比标准化残差对异常值更为敏感，因而在回归诊断中更受青睐。

偏残差

偏残差（partial residual）用于检验单个解释变量的函数形式。对于变量 $x_j$，偏残差定义为 $e_i^{(j)} = e_i + \hat{\beta}_j x_{ij}$，将其对 $x_j$ 作图可评估该变量的非线性模式。

递归残差

递归残差（recursive residual）适用于时间序列数据，通过逐个增加观测样本递推估计回归系数，并计算每一步的预测误差。递归残差在模型结构稳定性检验（如 CUSUM 检验）中具有重要应用。

残差分析的应用

模型诊断

残差图（residual plot）是回归诊断最直观且最有效的工具。将残差对拟合值作图，若散点随机分布在零线周围且无明显模式，则支持模型的基本假定。若残差呈现喇叭形（方差递增）或系统性弯曲（函数形式错误），则提示需要修正模型结构。

正态性检验

经典线性回归假设误差项服从正态分布，这可通过残差的正态概率图（Q-Q 图）或统计检验（如 Shapiro-Wilk 检验、Jarque-Bera 检验）进行评估。若残差严重偏离正态性，则基于 $t$ 和 $F$ 分布的推断可能不准确。

异方差检测

White 检验和 Breusch-Pagan 检验均基于残差平方对解释变量或拟合值的回归来检测异方差。在时间序列数据中，残差的 ARCH 效应检验也属于同一类方法。

自相关诊断

对于时间序列回归模型，Durbin-Watson 统计量利用相邻残差的相关性检验一阶自相关。Ljung-Box Q 检验则可检测高阶自相关结构。

杠杆值与影响力

帽子矩阵 $H$ 的对角元素 $h_{ii}$ 衡量第 $i$ 个观测在自变量空间中的极端程度。Cook 距离综合了杠杆值和残差大小，用于识别对回归系数估计有重大影响力的观测点：

通常认为 $D_i > 4/n$ 或 $D_i > 1$ 的点具有显著影响。

残差在模型选择中的作用

在模型选择过程中，残差分析提供以下关键信息：

1. 遗漏变量：将残差对遗漏的潜在变量作图，若呈现系统性模式，提示应纳入该变量。
2. 函数形式偏误：Ramsey RESET 检验将拟合值的高次幂加入原模型，检验其联合显著性，以判断是否存在函数形式设定偏误。
3. 异常值检测：学生化残差和 Cook 距离的联合使用可有效识别异常值，防止个别观测扭曲整体估计结论。

机器学习中的残差

在机器学习的语境中，残差的概念得以扩展和深化。梯度提升机（GBM）的核心思想即是在每一步迭代中拟合前一步残差。XGBoost 和 LightGBM 等算法均利用残差的一阶和二阶梯度信息构建弱学习器。残差网络（ResNet）通过在神经网络中引入跳跃连接让网络学习残差映射 $F(x) = H(x) - x$，有效缓解了深层网络中的梯度消失问题。

残差项的局限

残差分析并非万能。当模型存在严重多重共线性时，残差可能无法真实反映误差项的特征。此外，残差对模型假定的检验是间接的——残差满足所有统计性质并不保证模型是"正确"的，它只能帮助研究者发现模型在哪些方面可能存在问题。因此，残差分析应当与理论推导、交叉验证和领域知识相结合，才能得出稳健可靠的研究结论。后验预测检验（posterior predictive check）和模拟残差分析等技术进一步拓展了残差在贝叶斯统计中的应用，为模型评估提供了更为丰富的工具。