残差向量

残差向量

定义

残差向量（residual vector）是统计学和线性代数中描述观测值与模型拟合值之间差异的核心概念。在回归分析、数值线性代数和机器学习中，残差向量承载着模型未能解释的信息，是诊断模型质量、检验假设和优化参数的关键工具。

记观测向量为 $\mathbf{y} \in \mathbb{R}^n$，模型拟合值为 $\hat{\mathbf{y}}$，则残差向量定义为：

在线性回归模型中，$\hat{\mathbf{y}} = \mathbf{H}\mathbf{y}$，其中 $\mathbf{H} = \mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top$ 为帽子矩阵，因此残差向量可进一步表示为 $\mathbf{e} = (\mathbf{I} - \mathbf{H})\mathbf{y}$。

代数性质

残差向量具有若干重要的代数性质，这些性质构成了回归诊断的理论基础。

第一，残差向量与拟合值向量正交。在线性最小二乘回归中，$\mathbf{e}^\top\hat{\mathbf{y}} = 0$。这一性质源自正规方程 $\mathbf{X}^\top\mathbf{e} = \mathbf{0}$，它保证了残差中不包含任何可由自变量线性解释的信息。

第二，残差向量与设计矩阵的各列正交。即对于设计矩阵 $\mathbf{X}$ 的每一列 $\mathbf{x}_j$，有 $\mathbf{x}_j^\top\mathbf{e} = 0$。这意味着残差中不存在任何与自变量相关的线性趋势，是模型正确设定的必要条件之一。

第三，帽子矩阵 $\mathbf{H}$ 与残差向量满足 $\mathbf{H}\mathbf{e} = \mathbf{0}$，这是因为 $\mathbf{H}(\mathbf{I} - \mathbf{H}) = \mathbf{0}$。

第四，残差向量的期望为零向量，即 $\mathbb{E}[\mathbf{e}] = \mathbf{0}$，前提是模型设定正确且误差项的条件期望为零。

第五，在经典线性回归模型假设下，残差向量的协方差矩阵为 $\mathrm{Cov}(\mathbf{e}) = \sigma^2(\mathbf{I} - \mathbf{H})$，其中 $\sigma^2$ 是误差方差。这表明残差虽然是相关的，但其方差结构完全由帽子矩阵决定。

几何解释

从几何角度看，残差向量具有优美的直观意义。将观测向量 $\mathbf{y}$ 视为 $n$ 维空间中的一个点，设计矩阵 $\mathbf{X}$ 的各列张成一个 $p$ 维子空间（称为估计空间）。拟合值 $\hat{\mathbf{y}}$ 是 $\mathbf{y}$ 在该子空间上的正交投影，而残差向量 $\mathbf{e}$ 则是从投影点指向原观测点的向量，即垂直于估计空间的向量。

因此，残差向量的长度 $\|\mathbf{e}\|$ 就是 $\mathbf{y}$ 到估计空间的垂直距离，它度量了模型拟合的绝对误差程度。这一几何视角将回归问题转化为线性代数中的投影问题，使许多抽象性质变得直观可感。

残差分析与模型诊断

残差向量是模型诊断的核心工具，通过分析残差的模式可以判断模型假设是否成立。

正态性检验

若模型假设误差服从正态分布，则标准化残差 $r_i = e_i / (\hat{\sigma}\sqrt{1-h_{ii}})$ 应近似服从标准正态分布，其中 $h_{ii}$ 是帽子矩阵的第 $i$ 个对角元。常用的检验方法包括 Shapiro-Wilk 检验、Kolmogorov-Smirnov 检验以及 Q-Q 图。

异方差性检测

若残差随拟合值增大而呈现扩散或收缩趋势，则可能存在异方差性。Breusch-Pagan 检验和 White 检验是常用的正式检验方法。视觉上，绘制残差与拟合值的散点图是最直观的初步诊断手段。

自相关性检测

在时间序列数据中，残差若呈现序列相关，则违反独立同分布假设。Durbin-Watson 检验是检测一阶自相关的标准方法，Ljung-Box 检验则适用于更高阶的自相关结构。

异常值与强影响点

残差的绝对值过大可能对应异常值。学生化残差（studentized residual）$t_i = e_i / (\hat{\sigma}_{(i)}\sqrt{1-h_{ii}})$ 在检测异常值时更为稳健，其中 $\hat{\sigma}_{(i)}$ 是删除第 $i$ 个观测后重新估计的标准差。Cook 距离则综合衡量单个观测对整体回归系数的影响程度。

标准化残差及其变体

实际应用中对原始残差进行标准化处理，以获得更好的诊断性能。

标准化残差（standardized residual）为 $d_i = e_i / (\hat{\sigma}\sqrt{1-h_{ii}})$，其方差恒为 1，便于在不同模型间进行比较。

学生化残差（studentized residual）使用删除法估计的误差方差，具有更理想的统计性质。当模型正确时，$t_i$ 服从自由度为 $n-p-1$ 的 $t$ 分布，这为异常值检验提供了精确的参考分布。

Pearson 残差在广义线性模型中使用，定义为 $r_{P,i} = (y_i - \hat{\mu}_i) / \sqrt{\mathrm{Var}(\hat{\mu}_i)}$，扩展了残差概念到非正态分布情形。

偏差残差（deviance residual）基于似然比统计量定义，在广义线性模型中具有更好的正态近似性质。

在数值线性代数中的应用

在数值线性代数中，残差向量是衡量线性方程组近似解精度的标准。对于线性方程组 $\mathbf{A}\mathbf{x} = \mathbf{b}$，若 $\tilde{\mathbf{x}}$ 为近似解，则残差向量为 $\mathbf{r} = \mathbf{b} - \mathbf{A}\tilde{\mathbf{x}}$。

残差的范数 $\|\mathbf{r}\|$ 与控制精度的关系远比解的误差 $\|\mathbf{x} - \tilde{\mathbf{x}}\|$ 更加直接。在迭代法中，如共轭梯度法和 GMRES，每次迭代的目标就是使残差的范数单调递减，当 $\|\mathbf{r}\|$ 低于预设阈值时迭代终止。

需要注意的是，小残差并不一定意味着小误差——当矩阵 $\mathbf{A}$ 条件数很大时，残差与真实误差之间可能存在巨大差距。这一定性认识对于理解病态问题的数值稳定性至关重要。

在机器学习中的扩展

在机器学习领域，残差向量的概念得到了进一步的丰富和拓展。

均方误差（MSE）是残差平方和的均值，是最常用的回归损失函数。其梯度直接指向减少残差的方向，是梯度下降法优化的核心对象。

残差连接（residual connection）是深度学习中 ResNet 的核心创新。它将输入直接跨越若干层传递到输出，实际上学习的是残差映射 $\mathcal{F}(\mathbf{x}) = \mathcal{H}(\mathbf{x}) - \mathbf{x}$，而非原始映射 $\mathcal{H}(\mathbf{x})$。这一设计缓解了深层网络的梯度消失问题。

Boosting 算法（如 AdaBoost、Gradient Boosting）通过迭代拟合前一步的残差来逐步优化模型。每一轮的新模型专注于纠正前一轮的预测误差，最终将所有弱学习器加权组合。

总结

残差向量是统计建模中连接理论与实践的桥梁。从线性回归的正交投影到深度学习中的残差连接，从经典诊断图到现代 Boosting 算法，残差向量始终承载着模型未能捕捉的信息。理解残差的代数性质、几何意义和诊断价值，是掌握数据科学方法论的重要基石。良好的残差分析习惯——不满足于数值拟合，始终审视残差中的模式——是区分机械建模与科学建模的关键所在。