样本残差

样本残差 (Sample Residual)

样本残差是计量经济学和统计学中回归分析的核心概念之一，指因变量的观测值 $y_i$ 与回归模型所给出的拟合值 $\hat{y}_i$ 之间的差值。记为：

其中 $\mathbf{x}_i$ 是第 $i$ 个观测的自变量向量，$\hat{\boldsymbol{\beta}}$ 是最小二乘法（OLS）给出的参数估计量。残差是总体误差项 $u_i$ 的样本对应物，二者存在根本区别：$u_i$ 是不可观测的理论扰动，而 $e_i$ 是可由数据计算的拟合偏差。

残差的基本性质

在经典线性回归模型的假设下（$\mathbb{E}[u_i \mid \mathbf{X}] = 0$，同方差、无自相关），OLS 残差具有以下重要性质：

1. 零均值：残差之和恒为零，$\sum_{i=1}^n e_i = 0$。这是 OLS 一阶条件的直接推论，意味着残差的样本均值为零，但不意味着每个 $e_i$ 的期望为零——实际上 $\mathbb{E}[e_i] \neq 0$ 除非设计矩阵满足特殊条件。
2. 与拟合值正交：$\sum_{i=1}^n \hat{y}_i e_i = 0$，且残差与所有回归自变量均正交：$\sum_{i=1}^n x_{ij} e_i = 0$ 对每个 $j$ 成立。
3. 方差结构：令帽子矩阵 $\mathbf{H} = \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'$，其对角线元素 $h_{ii}$ 为杠杆值（leverage），则 $\text{Var}(e_i) = \sigma^2(1 - h_{ii})$。残差的方差不恒等于 $\sigma^2$，高杠杆观测的残差方差更小——这一事实对诊断至关重要。
4. 均方误差的无偏估计：$\hat{\sigma}^2 = \frac{\sum_{i=1}^n e_i^2}{n - k}$ 是 $\sigma^2$ 的无偏估计量，其中 $k$ 为参数个数（含截距项）。

学生化残差与标准化残差

由于 $\text{Var}(e_i)$ 不为常数，直接比较原始残差的量级可能产生误导。为此引入两类变换：

标准化残差（internally studentized residual）：

学生化残差（externally studentized residual）亦称剔除残差：

其中 $\hat{\sigma}_{(i)}$ 是删除第 $i$ 个观测后重新估计的回归标准误。$t_i$ 在正态性假设下精确服从自由度为 $n-k-1$ 的 $t$ 分布，因此更适合用于正式的异常值检验（如Bonferroni校正下的离群点判断）。

残差诊断：回归模型的体检报告

残差分析是验证回归模型假设的实践核心。主要诊断维度包括：

• 线性性检验：绘制 $e_i$ 对 $\hat{y}_i$（或各自变量 $x_{ij}$）的散点图。若出现系统性弯曲（如 U 形或倒 U 形），提示模型误设——可能需要加入平方项或改用非线性模型。若随机分布在零线附近，线性假设得到支持。
• 异方差检验：观察残差的离散程度是否随拟合值增大而扩散或收缩。Breusch-Pagan 检验和White 检验将残差平方对自变量或其平方/交叉项做辅助回归，以统计形式诊断异方差。异方差下 OLS 仍无偏但不再有效，需使用稳健标准误或加权最小二乘法（WLS）。
• 自相关检验：对时间序列数据，Durbin-Watson 统计量 $d = \frac{\sum_{t=2}^n(e_t - e_{t-1})^2}{\sum_{t=1}^n e_t^2}$ 基于残差的一阶差分比检测一阶自相关。更一般地，Breusch-Godfrey 检验（拉格朗日乘数检验）可检测任意阶自相关。
• 正态性检验：若需进行 $t$ 检验或 $F$ 检验（小样本情形），残差应近似正态。常用Q-Q 图和Jarque-Bera 检验。大样本下，中心极限定理使正态性假设的重要性下降，但极端偏态或厚尾仍需谨慎。
• 影响分析：高杠杆点（$h_{ii} > 2k/n$）和Cook 距离 $D_i = \frac{r_i^2}{k} \cdot \frac{h_{ii}}{1-h_{ii}}$ 结合残差信息和杠杆值，识别对参数估计产生不成比例影响的个别观测。

残差与拟合优度

残差平方和 $\text{SSE} = \sum_{i=1}^n e_i^2$ 是回归中未被解释的变异。结合总平方和 $\text{SST} = \sum_{i=1}^n (y_i - \bar{y})^2$ 与回归平方和 $\text{SSR} = \sum_{i=1}^n (\hat{y}_i - \bar{y})^2$，有方差分解恒等式 $\text{SST} = \text{SSR} + \text{SSE}$。判定系数 $R^2 = 1 - \text{SSE}/\text{SST}$ 直接基于残差构建，衡量模型解释比例，但也因此无法对增加自变量做出惩罚——为此催生了调整 $R^2$ 以及信息准则（AIC、BIC）等模型选择工具。

残差在非经典情境中的角色

残差的概念远不限于 OLS 框架。在工具变量法（IV/2SLS）中，第一阶段回归的残差用于检验工具变量的相关性（弱工具变量的 $F > 10$ 经验法则即由此来）；第二阶段的结构残差则用于诊断内生性是否得到充分处理。在分位数回归中，残差符号而非残差平方进入目标函数（检查函数 $\rho_\tau(u) = u(\tau - \mathbf{1}[u<0])$），使得不同分位数上的残差分布可揭示自变量对因变量分布的异质效应。在机器学习的回归树和梯度提升中，残差充当迭代拟合的目标——每棵树拟合上一轮残差，这正是梯度提升（Gradient Boosting）"沿残差的负梯度方向"组合弱学习器的本质。

残差与模型误设的形式化联系

残差中蕴含的系统性模式与特定形式的模型误设之间存在清晰的对应关系。

遗漏变量偏误：若真实数据生成过程为 $y = \mathbf{X}\boldsymbol{\beta} + \mathbf{Z}\boldsymbol{\gamma} + u$，而回归中遗漏了 $\mathbf{Z}$，则残差将包含 $\mathbf{Z}\boldsymbol{\gamma}$ 的结构性成分。此时残差对 $\mathbf{Z}$ 的散点图会呈现线性趋势，而非随机噪声——这正是Ramsey RESET 检验的思想基础：将 $\hat{y}^2, \hat{y}^3$ 等拟合值的幂次加入原回归，若其显著则提示遗漏了非线性项或交互效应。

测量误差：当自变量存在测量误差时（经典变量误差模型），$\text{plim } \hat{\boldsymbol{\beta}} \neq \boldsymbol{\beta}$，残差不再与测量到的 $\mathbf{X}$ 正交——这与无测量误差时残差必与回归自变量正交的性质形成可检验的对照。

结构突变：对时间序列模型，若残差在某一时点前后呈现系统性正偏或负偏，Chow 检验和CUSUM 检验利用递归残差 $e_t^{(r)} = y_t - \mathbf{x}_t'\hat{\boldsymbol{\beta}}_{(t-1)}$（用前 $t-1$ 期数据估计参数，预测第 $t$ 期）来侦测结构性断点。递归残差在无结构突变时为零均值独立序列，出现连续同号则发出警报。

伪回归与残差的非平稳性

在时间序列分析中，残差的性质直接关系到回归的有效性。Granger 与 Newbold在1974年的蒙特卡洛研究中发现：若两个独立的随机游走序列 $y_t = y_{t-1} + u_t$ 和 $x_t = x_{t-1} + v_t$ 进行 OLS 回归，残差通常高度自相关（DW 统计量接近零），且 $R^2$ 与 $t$ 统计量虚高，极易产生"显著"的伪回归。此时残差本身就是 $I(1)$ 过程——对残差做单位根检验（如ADF 检验）构成Engle-Granger 协整检验的核心步骤：若残差平稳（$I(0)$），则 $y$ 与 $x$ 存在协整关系，回归不是伪回归。

小结

残差是回归世界的"沉默信使"：它不说话时（无模式、无结构），模型是好的；它一旦呈现出模式，便指认了模型的不足。从 Fisher 的 OLS 几何到 Engle-Granger 的协整理论，从 Cook 距离的影响分析到梯度提升的逐轮残差拟合，残差分析始终是连接计量理论与实践的第一道桥梁。一个优秀的实证研究者，往往将一半的时间花在审视残差图上——因为在数字背后，残差承载着数据想告诉我们的、模型尚未捕捉到的一切。