KNOWECON WIKI

ARTICLE

RSS_(Residual_Sum_of_Squares)

残差平方和 (Residual Sum of Squares, RSS) 残差平方和 (Residual Sum of Squares, RSS)，也常被称为 误差平方和 (Sum of Squared Errors, SSE) 或 残差的二次方和，是统计学和计量经济学中，尤其是在回归分析领域，一个至关重要的概念。它用于衡量一个统计模型对其所拟合的样本数据的

浏览 44 更新 2025-10-23

残差平方和 (Residual Sum of Squares, RSS)

残差平方和 (Residual Sum of Squares, RSS)，也常被称为 误差平方和 (Sum of Squared Errors, SSE) 或 残差的二次方和，是统计学和计量经济学中，尤其是在回归分析领域，一个至关重要的概念。它用于衡量一个统计模型对其所拟合的样本数据的拟合优度。具体来说，RSS 是在给定模型下，所有观测值的实际值与模型预测值之差（即残差）的平方总和。

RSS 的核心思想是量化模型的「错误」程度。一个模型的 RSS 值越小，代表该模型对数据的拟合更优，其预测值与实际观测值的偏离程度越小。

数学定义

在数学上，残差平方和的定义非常直观。假设我们有一个包含 nn 个观测值的数据集。对于第 ii 个观测值：

  • yiy_i 表示因变量的实际观测值。
  • y^i\hat{y}_i 表示通过我们的统计模型对第 ii 个观测值得出的预测值或拟合值。

那么，第 ii 个观测值的 残差 (residual) eie_i 定义为：

ei=yi−y^ie_i = y_i - \hat{y}_i

这个残差代表了模型在第 ii 个数据点上的预测误差。

残差平方和 (RSS) 就是所有这些残差的平方之和：

RSS=∑i=1nei2=∑i=1n(yi−y^i)2\text{RSS} = \sum_{i=1}^{n} e_i^2 = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2

例如，在一个简单的线性回归模型中，模型形式为 y=β0+β1x+ϵy = \beta_0 + \beta_1 x + \epsilon。我们使用数据估计出参数 β^0\hat{\beta}_0 和 β^1\hat{\beta}_1 后，对于每一个 xix_i，其预测值就是：

y^i=β^0+β^1xi\hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1 x_i

因此，该线性回归模型的 RSS 可以具体写作：

RSS=∑i=1n(yi−(β^0+β^1xi))2\text{RSS} = \sum_{i=1}^{n} (y_i - (\hat{\beta}_0 + \hat{\beta}_1 x_i))^2

在普通最小二乘法 (OLS) 中的核心作用

RSS 最著名的应用是在 普通最小二乘法 (Ordinary Least Squares, OLS) 中作为目标函数。OLS 是线性回归分析中最常用的参数估计方法，其基本原则就是选择一组模型参数，使得残差平方和 (RSS) 最小化。

换句话说，OLS 的目标是找到一条「最佳拟合线」（或在多元回归中是一个超平面），这条线使得所有数据点到该线的垂直距离（即残差）的平方和达到最小值。从数学上讲，OLS 估计量 β^\hat{\beta} 是通过求解以下最优化问题得到的：

β^=arg⁡min⁡βRSS(β)=arg⁡min⁡β∑i=1n(yi−xi′β)2\hat{\beta} = \arg\min_{\beta} \text{RSS}(\beta) = \arg\min_{\beta} \sum_{i=1}^{n} (y_i - x_i'\beta)^2

其中 xi′x_i' 是包含自变量的向量，β\beta 是待估计的系数向量。

这个最小化过程通常通过微积分实现，即对 RSS 函数关于每个参数求偏导数，并令其等于零，从而得到一组求解参数的方程，这组方程被称为 正规方程组 (Normal Equations)。

为什么是「平方」和？

选择对残差进行平方处理，而不是直接求和或取绝对值，具有重要的统计学和数学意义：

  1. 避免正负抵消：如果直接对残差 eie_i 求和，正的残差（模型低估）和负的残差（模型高估）会相互抵消。
  2. 惩罚较大误差：平方操作会不成比例地放大较大的误差，这意味着 OLS 方法对离群点 (outliers) 非常敏感。
  3. 数学上的便利性：平方函数是连续且可微的，这使得基于微积分的最优化理论得以应用，可以方便地找到解析解（如正规方程组）。相比之下，如果使用绝对值之和（这会导致最小绝对偏差回归，即 LAD），其目标函数在零点处不可微，求解过程更为复杂。

RSS 与方差分解

RSS 是理解模型解释能力的关键组成部分。在回归分析中，因变量的总变异可以被分解为两部分：一部分是由模型解释的变异，另一部分是模型未能解释的变异（即残差）。这构成了回归分析的方差分解基本恒等式。

  1. 总平方和 (Total Sum of Squares, TSS)：衡量了因变量 yy 自身的总变异程度。 \[ \text{TSS} = \sum_{i=1}^{n} (y_i - \bar{y})^2 \]
  2. 解释平方和 (Explained Sum of Squares, ESS)：也称为回归平方和，衡量了由回归模型所解释的因变量变异部分。 \[ \text{ESS} = \sum_{i=1}^{n} (\hat{y}_i - \bar{y})^2 \]
  3. 残差平方和 (RSS)：即模型未能解释的变异部分。

这三者之间的关系（在包含截距项的线性模型中）为：

TSS=ESS+RSS\text{TSS} = \text{ESS} + \text{RSS}

这个等式表明：总变异 = 已解释变异 + 未解释变异。RSS 在此处代表的就是「未解释变异」。

RSS 的应用

除了作为 OLS 的目标函数，RSS 还在以下方面有广泛应用：

  1. 拟合优度检验：RSS 是计算决定系数 (R2R^2) 的核心： \[ R^2 = \frac{\text{ESS}}{\text{TSS}} = 1 - \frac{\text{RSS}}{\text{TSS}} \]
  2. 假设检验：在F检验中，RSS 被用来检验模型中一个或多个系数的联合显著性： \[ F = \frac{(\text{RSS}_{\text{有约束}} - \text{RSS}_{\text{无约束}}) / q}{\text{RSS}_{\text{无约束}} / (n - k - 1)} \]
  3. 模型选择：许多模型选择准则在 RSS 的基础上加入了对模型复杂度的惩罚，例如调整后R平方、赤池信息量准则 (AIC) 和贝叶斯信息量准则 (BIC)。