误差平方和

误差平方和 (Sum of Squared Errors)

误差平方和 (Sum of Squared Errors, SSE)，亦称残差平方和 (Residual Sum of Squares, RSS) 或剩余平方和，是回归分析和数理统计中衡量模型拟合误差的核心统计量。它定义为观测值与模型拟合值之差的平方和：$\text{SSE} = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$，其中 $y_i$ 为第 $i$ 个观测值，$\hat{y}_i$ 为相应的模型预测值，$n$ 为样本量。SSE 度量了模型中未被解释的变异部分，其值越小表明模型对数据的拟合程度越高。在普通最小二乘法 (OLS) 的框架下，参数估计的核心目标正是使 SSE 达到最小。

平方和分解与几何解释

在含有截距项的线性回归模型中，观测值的总变异可分解为两个正交部分：

其中 $\text{TSS} = \sum_{i=1}^{n} (y_i - \bar{y})^2$ 为总平方和 (Total Sum of Squares)，度量因变量围绕其均值的总变异；$\text{ESS} = \sum_{i=1}^{n} (\hat{y}_i - \bar{y})^2$ 为回归平方和 (Explained Sum of Squares)，度量模型所能解释的结构性变异；而 SSE 为模型未能解释的随机变异。该分解的关键在于 OLS 残差 $\hat{\epsilon}_i = y_i - \hat{y}_i$ 满足 $\sum \hat{\epsilon}_i = 0$ 且与拟合值正交。

从几何角度看，OLS 估计是将观测向量 $\mathbf{y}$ 正交投影到由设计矩阵 $\mathbf{X}$ 所张成的线性空间上，SSE 正是投影残差的欧几里得范数的平方。最小化 SSE 的一阶条件导出正规方程 $\mathbf{X}'\mathbf{X}\hat{\boldsymbol{\beta}} = \mathbf{X}'\mathbf{y}$，其解为 $\hat{\boldsymbol{\beta}} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}$。

与决定系数的关系

SSE 是构造决定系数 ($R^2$) 的基础：

SSE 占总变异 TSS 的比例越小，模型解释力越强。当 SSE 为零时 $R^2 = 1$，表示完美拟合；当 SSE 等于 TSS 时 $R^2 = 0$，表示模型毫无解释力。

由于 SSE 随自变量增加而单调递减，$R^2$ 也单调递增，这促使引入调整决定系数：

其中 $k$ 为自变量数目。调整 $R^2$ 仅在 SSE 减少足以补偿自由度损失时才上升。

在模型评估中的应用

SSE 还参与多个诊断统计量。均方误差 (MSE) 定义为 $\text{MSE} = \text{SSE} / (n - k - 1)$，其平方根即为回归标准误 (SER)。AIC 和 BIC 等信息准则均以 SSE 为基础：

在方差分析 (ANOVA) 中，回归整体显著性的 F 检验统计量为：

该统计量在零假设下服从F分布。对于嵌套模型，偏 F 检验利用两个模型 SSE 的差值评估新变量的联合显著性：

局限性

SSE 存在明显局限。第一，它是有尺度统计量，依赖因变量量纲，不能直接用于跨模型比较。第二，SSE 随变量增加而永不上升，导致过度拟合倾向。第三，SSE 对异常值极为敏感，单个极端值可大幅膨胀其数值。第四，在非线性模型中 SSE 不再满足正交分解性质。实践中常将 SSE 与交叉验证结合使用，以评估样本外预测表现。