KNOWECON WIKI

ARTICLE

误差平方和

误差平方和 (Sum of Squared Errors) 误差平方和 (Sum of Squared Errors, SSE)，亦称残差平方和 (Residual Sum of Squares, RSS) 或剩余平方和，是回归分析和数理统计中衡量模型拟合误差的核心统计量。它定义为观测值与模型拟合值之差的平方和： SSE = _i=1^n (y_i - y_

浏览 0 更新 2025-10-26

误差平方和 (Sum of Squared Errors)

误差平方和 (Sum of Squared Errors, SSE)，亦称残差平方和 (Residual Sum of Squares, RSS) 或剩余平方和，是回归分析和数理统计中衡量模型拟合误差的核心统计量。它定义为观测值与模型拟合值之差的平方和：SSE=∑i=1n(yi−y^i)2\text{SSE} = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2，其中 yiy_i 为第 ii 个观测值，y^i\hat{y}_i 为相应的模型预测值，nn 为样本量。SSE 度量了模型中未被解释的变异部分，其值越小表明模型对数据的拟合程度越高。在普通最小二乘法 (OLS) 的框架下，参数估计的核心目标正是使 SSE 达到最小。

平方和分解与几何解释

在含有截距项的线性回归模型中，观测值的总变异可分解为两个正交部分：

TSS=ESS+SSE\text{TSS} = \text{ESS} + \text{SSE}

其中 TSS=∑i=1n(yi−yˉ)2\text{TSS} = \sum_{i=1}^{n} (y_i - \bar{y})^2 为总平方和 (Total Sum of Squares)，度量因变量围绕其均值的总变异；ESS=∑i=1n(y^i−yˉ)2\text{ESS} = \sum_{i=1}^{n} (\hat{y}_i - \bar{y})^2 为回归平方和 (Explained Sum of Squares)，度量模型所能解释的结构性变异；而 SSE 为模型未能解释的随机变异。该分解的关键在于 OLS 残差 ϵ^i=yi−y^i\hat{\epsilon}_i = y_i - \hat{y}_i 满足 ∑ϵ^i=0\sum \hat{\epsilon}_i = 0 且与拟合值正交。

从几何角度看，OLS 估计是将观测向量 y\mathbf{y} 正交投影到由设计矩阵 X\mathbf{X} 所张成的线性空间上，SSE 正是投影残差的欧几里得范数的平方。最小化 SSE 的一阶条件导出正规方程 X′Xβ^=X′y\mathbf{X}'\mathbf{X}\hat{\boldsymbol{\beta}} = \mathbf{X}'\mathbf{y}，其解为 β^=(X′X)−1X′y\hat{\boldsymbol{\beta}} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}。

与决定系数的关系

SSE 是构造决定系数 (R2R^2) 的基础：

R2=1−SSETSSR^2 = 1 - \frac{\text{SSE}}{\text{TSS}}

SSE 占总变异 TSS 的比例越小，模型解释力越强。当 SSE 为零时 R2=1R^2 = 1，表示完美拟合；当 SSE 等于 TSS 时 R2=0R^2 = 0，表示模型毫无解释力。

由于 SSE 随自变量增加而单调递减，R2R^2 也单调递增，这促使引入调整决定系数：

Rˉ2=1−SSE/(n−k−1)TSS/(n−1)\bar{R}^2 = 1 - \frac{\text{SSE} / (n - k - 1)}{\text{TSS} / (n - 1)}

其中 kk 为自变量数目。调整 R2R^2 仅在 SSE 减少足以补偿自由度损失时才上升。

在模型评估中的应用

SSE 还参与多个诊断统计量。均方误差 (MSE) 定义为 MSE=SSE/(n−k−1)\text{MSE} = \text{SSE} / (n - k - 1)，其平方根即为回归标准误 (SER)。AIC 和 BIC 等信息准则均以 SSE 为基础：

AIC=nln⁡(SSEn)+2(k+1)\text{AIC} = n \ln\left(\frac{\text{SSE}}{n}\right) + 2(k+1)

在方差分析 (ANOVA) 中，回归整体显著性的 F 检验统计量为：

F=ESS/kSSE/(n−k−1)F = \frac{\text{ESS} / k}{\text{SSE} / (n - k - 1)}

该统计量在零假设下服从F分布。对于嵌套模型，偏 F 检验利用两个模型 SSE 的差值评估新变量的联合显著性：

F=(SSEr−SSEf)/qSSEf/(n−kf−1)F = \frac{(\text{SSE}_r - \text{SSE}_f) / q}{\text{SSE}_f / (n - k_f - 1)}

局限性

SSE 存在明显局限。第一，它是有尺度统计量，依赖因变量量纲，不能直接用于跨模型比较。第二，SSE 随变量增加而永不上升，导致过度拟合倾向。第三，SSE 对异常值极为敏感，单个极端值可大幅膨胀其数值。第四，在非线性模型中 SSE 不再满足正交分解性质。实践中常将 SSE 与交叉验证结合使用，以评估样本外预测表现。