residual analysis

残差分析（Residual Analysis）是回归分析与统计建模中用于评估模型拟合质量、验证模型假设以及诊断异常观测值的一类核心方法。残差定义为观测值与其模型预测值之间的差异：$e_i = y_i - \hat{y}_i$。残差分析通过对这些差异的结构化考察，判断模型是否恰当捕获了数据中的系统性模式，以及是否满足线性回归的基本假设（如独立性、正态性、同方差性）。该方法由费希尔（R. A. Fisher）在二十世纪早期系统化，至今仍是数据科学和计量经济学中最不可或缺的模型诊断工具之一。

1. 残差的定义与基本性质

1.1 残差与误差的区别

残差（Residual）与模型误差（Error）是两个容易混淆但本质不同的概念。模型误差 $\varepsilon_i$ 是总体回归模型中不可观测的随机扰动项，反映了因变量 $Y$ 中无法被自变量 $X$ 解释的部分；而残差 $e_i$ 是从样本数据中计算得出的、对误差 $\varepsilon_i$ 的估计。在线性回归模型 $y_i = X_i^\top\beta + \varepsilon_i$ 中，残差向量可表示为 $e = (I - H)y$，其中 $H = X(X^\top X)^{-1}X^\top$ 为帽子矩阵（Hat Matrix）。由于最小二乘法的约束条件 $\sum e_i = 0$ 和 $\sum e_i X_i = 0$ 的施加，残差之间并非独立——即使误差项本身是独立同分布的，残差也必然存在一定的相关性。这种相关性的大小由帽子矩阵的对角元素 $h_{ii}$ 决定，后者也是后续杠杆值分析的基础。

1.2 标准化残差与学生化残差

由于不同观测点的残差具有不同的方差（$\text{Var}(e_i) = \sigma^2(1 - h_{ii})$），直接比较原始残差难以识别异常点。为此发展了两种标准化形式：

标准化残差（Standardized Residual）定义为 $r_i = e_i / (\hat{\sigma} \sqrt{1 - h_{ii}})$，其中 $\hat{\sigma}$ 为误差标准差的估计值。标准化残差近似服从均值为零、方差为一的分布，因此 $|r_i| > 2$ 或 $|r_i| > 3$ 常被用作异常观测的粗筛阈值。

学生化残差（Studentized Residual）则进一步降低了"同一数据既用于拟合又用于诊断"所带来的偏误。删除第 $i$ 个观测后重新拟合模型，计算删除残差 $e_{(i)} = y_i - \hat{y}_{(i)}$，再除以相应的标准误，得到学生化残差 $t_i$。学生化残差精确服从 $t$ 分布（自由度 $n - k - 2$），在识别异常值时比标准化残差更为灵敏，尤其适用于小样本情形。

2. 残差图的类型与解读

2.1 残差 vs. 拟合值图

残差对拟合值（Residuals vs. Fitted）的散点图是模型诊断中最常用的一幅图形。若模型假设成立，该图应呈现围绕零水平线随机散布的"无结构"点云，无明显的漏斗形、弧形或带状模式。若残差随拟合值的增大而向外扩散（即"喇叭形"），则提示存在异方差性（Heteroscedasticity），此时标准误的估计将有偏，假设检验的结论不可靠。若残差呈现弯曲的U形或倒U形模式，则暗示模型中遗漏了非线性项或交互作用项，需要引入多项式项或进行变量变换。

2.2 正态 Q-Q 图

正态分位数-分位数图（Normal Q-Q Plot）用于检验残差的正态性假设。若残差来自正态分布，散点应大致落在45°参考线上。常见的偏离形态包括：散点呈S形（轻尾分布或重尾分布）、两端偏离参考线而上翘（右偏）或下弯（左偏）。需要注意的是，当样本量较大时（$n > 100$），中心极限定理保证了OLS估计量的渐近正态性，此时正态性假设的轻微偏离对系数推断影响不大；但在小样本或需要进行预测区间估计的情形下，残差的正态性仍不可忽视。

2.3 尺度-位置图与残差 vs. 杠杆图

尺度-位置图（Scale-Location Plot）将标准化残差的平方根绘制在拟合值上，用于更精细地检测异方差性。若该图呈现平滑上升趋势，则表明方差随拟合值增大而增大。残差 vs. 杠杆图（Residuals vs. Leverage）则同时揭示高杠杆点（$h_{ii}$ 较大的观测）和大残差观测，二者结合即为强影响点（Influential Point）。库克距离（Cook's Distance）综合了杠杆值和残差大小两个维度，通常以 $D_i > 4/n$ 或 $D_i > 1$ 作为识别强影响点的经验标准。

3. 残差分析在模型诊断中的应用

3.1 异常值与强影响点识别

残差分析是识别异常值（Outlier）和强影响点（Influential Point）的首要手段。异常值指残差绝对值明显偏大的观测，可能是由数据录入错误、仪器故障或总体中的极端个体引起。强影响点则指对回归系数估计值具有不成比例影响的观测——移除该点后回归系数发生实质性变化。一个观测可能是异常值但不具强影响（如远离杠杆但残差极大），也可能是强影响点而非异常值（如高杠杆但残差不大）。残差分析提供了区分这两类情形的可视化工具：残差 vs. 杠杆图与库克距离相结合，可以系统性地评估每个观测对模型结果的"控制力"。

3.2 模型假设的验证

残差分析系统性地验证线性回归的四项核心假设：

• 线性性：残差对拟合值图若不呈现弯曲模式，则线性假设合理。
• 独立性：若数据为时间序列或面板数据，残差的自相关函数（ACF）图可用于检验误差项的独立性——ACF中显著的非零自相关提示模型存在遗漏的动态结构。
• 同方差性：尺度-位置图的平滑趋势和布罗施-帕甘检验（Breusch-Pagan Test）可联合诊断异方差性。
• 正态性：Q-Q图与夏皮罗-威尔克检验（Shapiro-Wilk Test）共同判断正态假设。

3.3 模型选择的辅助工具

在模型比较与变量选择过程中，残差分析提供了拟合优度之外的额外视角。两个模型即使 $R^2$ 相近，其残差图也可能呈现截然不同的模式：一个可能随机散布，另一个则呈现系统性偏误。赤池信息准则（AIC）和贝叶斯信息准则（BIC）等指标虽然可以量化模型复杂度与拟合度的权衡，但它们无法揭示模型在特定子区域（如极端值处）的拟合失败。残差分析恰好填补了这一空白——通过考察残差随自变量的分布模式，研究者可以发现模型在哪些取值区间表现不佳，从而指导更精细的模型改造（如分段回归、加权最小二乘法或稳健回归）。

4. 残差分析的局限性

残差分析虽为模型诊断的核心工具，但并非万能。首先，残差是模型依赖的（Model-Dependent）——残差只能反映所选模型未能解释的信息，若模型本身存在严重的设定偏误（如遗漏关键变量或错误设定函数形式），残差图呈现的"随机模式"可能是一种假象。其次，当样本量较小时，残差的正态性检验和异常值检测的统计功效均较低；而在超大样本中，即使微小且实际无关的偏离也可能被检验判定为"显著"，造成过度诊断。再次，多重共线性会使得残差分析对个别观测的敏感性降低——因为在高共线性情形下，个别观测的影响被变量间的相关结构所分担，异常点在残差图上可能不易显现。因此，残差分析应始终与领域知识、其他诊断统计量（如VIF、DW检验）以及稳健估计方法相互配合，形成完整的模型验证策略。

5. 延伸阅读

残差分析的经典参考可追溯至安斯库姆（Anscombe, 1973）的著名论文《Graphs in Statistical Analysis》，该文通过四组"统计性质相同但图形截然不同"的数据说明了可视化诊断不可替代的价值。库克与韦斯伯格（Cook \& Weisberg, 1982）的《Residuals and Influence in Regression》是残差分析领域最系统的专著。在应用层面，贝尔斯利等人（Belsley, Kuh \& Welsch, 1980）的《Regression Diagnostics》提供了影响诊断和共线性诊断的完整框架。中文文献中，关于残差分析在计量经济学中的应用可参见李子奈和潘文卿（2015）的《计量经济学》中关于模型检验与诊断的相关章节。