统计诊断

统计诊断（Statistical Diagnostics）是回归分析和广义线性模型中用于评估模型假设合理性、检测异常观测值以及判断模型拟合质量的一套系统性方法。它并非拟合模型之后的点缀，而是统计建模不可或缺的环节——模型假设一旦被违背，参数估计、标准误与统计推断的全链条均可能失效。统计诊断通过残差分析、影响度量和假设检验等手段，为研究者提供审视模型是否"健康"的评估框架，帮助识别数据中的强影响点、杠杆点与异常值，从而避免基于错误模型的误导性结论。

一、残差分析

残差是模型预测值与观测值之间的差异，是统计诊断最基础的原材料。普通残差 $e_i = y_i - \hat{y}_i$ 虽直接反映预测偏差，但当模型方差非齐性时，普通残差的方差随自变量变化而变动，不利于诊断。为此，统计学家发展了多种标准化残差形式：学生化残差将残差除以其标准误的估计值，使之在模型假设成立时近似服从标准正态分布；标准化残差（又称内部学生化残差）使用全局均方误差作为方差估计；删除残差则通过在删除第 $i$ 个观测值后重新拟合模型来度量该观测点对拟合值的真实影响，其对应的学生化删除残差（又称外部学生化残差或 RStudent）对异常值尤其敏感。

残差图是残差分析的核心可视化工具。以拟合值为横轴、残差为纵轴的散点图应呈现随机散布的形态——若残差呈扇形展开，提示方差非齐性；若呈U形或倒U形弯曲，提示模型遗漏了自变量的非线性项或交互项；若残差沿对角线方向聚集，则可能暗示因变量存在截断或归并问题。Q-Q图（分位数-分位数图）用于检验正态性假设：若学生化残差的分位数与理论标准正态分位数大致落在一条直线上，则正态假设可接受。当样本量较大时，即使微小偏离也会被检出，此时应结合图示效果而非单纯依赖假设检验作判断。

二、异常值与强影响点检测

异常值（Outlier）是指因变量取值与模型预测明显偏离的观测点。检测异常值的常见方法是比较学生化残差的绝对值与临界值。当样本量为 $n$、模型参数个数为 $p$ 时，若学生化残差绝对值超过 Bonferroni 校正后的 $t$ 分布临界值 $t_{\alpha/(2n), n-p-1}$，则该观测点可视为统计意义上的异常值。然而，异常值未必都有害——它可能揭示数据录入错误、实验条件异常，也可能指向模型本身未能捕捉的重要结构，例如非线性关系或群体异质性。

强影响点（Influential Point）是指删除后会导致模型参数估计发生实质性变化的观测点。一个观测点可能兼具高杠杆和高残差的特征，也可能仅在其中一项上极端。库克距离（Cook's Distance）是最常用的综合影响度量指标，它衡量删除某个观测点后所有拟合值的变化总量，计算公式为 $D_i = (e_i^2 / p \cdot \hat{\sigma}^2) \cdot [h_{ii}/(1-h_{ii})^2]$，其中 $h_{ii}$ 为第 $i$ 个观测点的杠杆值。经验法则建议，当 $D_i > 4/n$ 时即应予以关注。DFFITS 度量删除单个观测点后拟合值的变化尺度，DFBETAS 则专门度量每个回归系数的变化。高杠杆点（High Leverage Point）是指自变量取值偏离中心区域的观测点。杠杆值 $h_{ii}$ 取自帽子矩阵 $H = X(X^TX)^{-1}X^T$ 的对角元，取值范围在 $0$ 到 $1$ 之间。当 $h_{ii} > 2p/n$ 时，通常认为该点具有高杠杆效应。

三、模型假设检验

回归分析的经典假设包括线性性、独立性、方差齐性和正态性。统计诊断通过针对性检验逐一评估这些假设是否成立。

线性性检验可通过偏残差图（Partial Residual Plot）辅助判断。偏残差 $r_i^{(j)} = e_i + \beta_j x_{ij}$ 绘制了对某个自变量 $x_j$ 的散点图：若局部回归曲线大致通过原点且呈线性趋势，则线性假设合理；若呈现曲线模式，则需考虑加入 $x_j$ 的平方项或样条变换。拉姆齐的回归设定误差检验（RESET）通过将拟合值的若干次幂加入原模型进行 $F$ 检验，以检测整体非线性结构的存在性。

方差齐性（同方差性）检验是计量经济学诊断的重点。布罗施-帕甘检验将平方残差对所有自变量回归，检验回归系数的联合显著性；怀特检验则不依赖于方差函数的具体形式，通过将平方残差对自变量、自变量的平方及交叉项回归来捕捉更广泛的异方差模式。对于时间序列数据，异方差的自回归条件异方差模型（ARCH）检验是标准选择。

独立性假设在时间序列和聚类数据中尤其重要。德宾-沃森检验检测一阶自相关，其统计量取值在0到4之间，接近2时表明无自相关，接近0表明正自相关，接近4表明负自相关。Ljung-Box检验则适用于检测高阶自相关结构，广泛应用于金融收益率序列的模型诊断。

正态性假设的检验方法包括夏皮洛-威尔克检验（适用于小样本）、科尔莫戈罗夫-斯米尔诺夫检验（适用于大样本）和雅克-贝拉检验（基于偏度和峰度的联合检验）。不过在较大样本下，由于中心极限定理的保障，回归系数的推断对正态性偏离具有一定鲁棒性，此时可放宽正态假设而依赖渐近理论进行推断。

四、多重共线性诊断

多重共线性指自变量之间存在高度线性相关，导致回归系数的方差被放大、估计不稳定。方差膨胀因子（VIF）是最常用的诊断指标：$VIF_j = 1/(1-R_j^2)$，其中 $R_j^2$ 为第 $j$ 个自变量对其他所有自变量回归的判定系数。VIF值大于10通常被视为多重共线性严重的警示阈值；大于5在严格分析中也值得关注。条件指数通过计算自变量相关矩阵的特征值比来衡量共线性强度，当最大条件指数大于30时，表明存在严重共线性。

多重共线性的处理策略包括：删除高度相关的变量之一（基于理论或实际考量）；使用主成分回归或偏最小二乘提取合成变量；应用岭回归或LASSO等正则化方法通过引入偏差来换取方差缩减；或者收集更多数据以降低估计量的渐近方差。

五、诊断流程与策略

有效的统计诊断遵循从全局到局部的逻辑顺序。第一步是总体拟合优度评估：检查判定系数、调整判定系数、赤池信息准则（AIC）和贝叶斯信息准则（BIC）等全局指标。第二步是残差分析：绘制残差图、Q-Q图、尺度-位置图（残差绝对值平方根对拟合值作图），快速排查系统性偏离。第三步是异常值与影响点检测：计算库克距离、DFFITS和杠杆值，标注需要进一步审查的观测点。第四步是针对特定假设的正式检验：根据数据特性选择异方差检验、自相关检验或正态性检验。第五步是模型修正：根据诊断结果调整模型结构（添加非线性项、变换因变量、采用稳健标准误或加权最小二乘法），然后进入新一轮诊断迭代，直至模型通过全部诊断。

在实际操作中，统计诊断不应被视为一次性通过/不通过的筛选机制，而是一个迭代改进的过程。R语言中 \texttt{plot.lm} 函数生成的四合一残差诊断图、Python Statsmodels中的 \texttt{plot\_regress\_exog} 和 \texttt{influence\_plot}、Stata的 \texttt{rvfplot} 和 \texttt{predict} 后估计命令，均提供了系统化的诊断功能。SPSS和SAS等商业软件也内置了完整的诊断输出面板。

总结

统计诊断是统计建模中承上启下的关键环节——它连接着模型设定与结果解释，确保研究者并非在虚假的安全感中做推断。通过残差分析探查模型假设的偏离，通过影响度量识别控制估计结果的特殊观测点，通过共线性诊断评估估计的稳定性，统计诊断提供了从数据到模型再回到数据的闭环反馈机制。忽视诊断的建模无异于盲人摸象，而严格执行诊断过程既是对数据质量的审视，也是对研究结论可靠性的根本保障。