KNOWECON WIKI

ARTICLE

Sum of Squares Regression

Sum of Squares Regression (SSR) Sum of Squares Regression，缩写为 SSR，中文常译为回归平方和，是回归分析与方差分析中度量模型解释力的核心统计量。它量化了因变量 y 的总变异中能够被回归模型（即自变量集合）所解释的部分。在普通最小二乘法 (OLS) 的框架下，SSR 与总平方和 (Total Sum

浏览 0 更新 2025-12-23

Sum of Squares Regression (SSR)

Sum of Squares Regression，缩写为 SSR，中文常译为回归平方和，是回归分析与方差分析中度量模型解释力的核心统计量。它量化了因变量 yy 的总变异中能够被回归模型（即自变量集合）所解释的部分。在普通最小二乘法 (OLS) 的框架下，SSR 与总平方和 (Total Sum of Squares, SST) 以及残差平方和 (Sum of Squared Errors, SSE) 共同构成回归分析中最基础的平方和分解恒等式，是推导决定系数 R2R^2 和构造整体显著性F检验的出发点。

需要特别指出的是，缩写 SSR 在统计学文献中存在严重的命名歧义：在某些教材中 SSR 代表 Sum of Squares Regression（回归平方和，即模型的解释部分），而在另一些教材中 SSR 代表 Sum of Squares Residual（残差平方和，即模型的误差部分）。本词条采用前一种约定，将 SSR 定义为回归平方和，与解释平方和 (Explained Sum of Squares, ESS) 或模型平方和 (Model Sum of Squares, MSS) 同义。

数学定义与计算

在一元或多元线性回归模型中，设样本容量为 nn，因变量的观测值为 y1,y2,…,yny_1, y_2, \ldots, y_n，其样本均值为 yˉ=1n∑i=1nyi\bar{y} = \frac{1}{n}\sum_{i=1}^{n} y_i。给定回归模型后，第 ii 个观测的拟合值（预测值）记为 y^i\hat{y}_i。则回归平方和 SSR 的数学定义为：

SSR=∑i=1n(y^i−yˉ)2\text{SSR} = \sum_{i=1}^{n} (\hat{y}_i - \bar{y})^2

其中每一项 (y^i−yˉ)(\hat{y}_i - \bar{y}) 度量了回归模型在第 ii 个观测点上相对于朴素均值预测的"改进量"——如果模型完全没有解释力（即所有斜率系数均为零），则 y^i=yˉ\hat{y}_i = \bar{y} 对所有 ii 成立，SSR = 0；如果模型完美拟合，SSR 将趋近于 SST。

在矩阵表示下，记 y^=Xβ^=Hy\hat{\boldsymbol{y}} = \mathbf{X}\hat{\boldsymbol{\beta}} = \mathbf{H}\mathbf{y}，其中 H=X(X′X)−1X′\mathbf{H} = \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}' 为帽子矩阵，则 SSR 可写作中心化的二次型：

SSR=y^′y^−nyˉ2=y′Hy−nyˉ2\text{SSR} = \hat{\boldsymbol{y}}'\hat{\boldsymbol{y}} - n\bar{y}^2 = \mathbf{y}'\mathbf{H}\mathbf{y} - n\bar{y}^2

在含截距项的模型中，SSR 的自由度为 kk，即自变量的个数（不含截距项）。

平方和分解：回归分析的基石

回归分析中最根本的代数恒等式是方差分解（也称平方和分解）：

SST=SSR+SSE\text{SST} = \text{SSR} + \text{SSE}
∑i=1n(yi−yˉ)2=∑i=1n(y^i−yˉ)2+∑i=1n(yi−y^i)2\sum_{i=1}^{n} (y_i - \bar{y})^2 = \sum_{i=1}^{n} (\hat{y}_i - \bar{y})^2 + \sum_{i=1}^{n} (y_i - \hat{y}_i)^2

其中三个核心平方和的含义如下：

  • SST (Total Sum of Squares)：总平方和，度量因变量围绕其样本均值的总离散程度，自由度为 n−1n-1。它代表了不使用任何自变量信息时数据的总变异量。
  • SSR (Sum of Squares Regression)：回归平方和，度量模型拟合值 y^i\hat{y}_i 与均值 yˉ\bar{y} 之间的变异，代表由自变量集合系统性解释的部分，自由度为 kk。
  • SSE (Sum of Squared Errors)：残差平方和（也称误差平方和），度量观测值 yiy_i 与拟合值 y^i\hat{y}_i 之间的残差变异，代表模型未能解释的随机成分，自由度为 n−k−1n-k-1。

从几何观点看，在 nn 维欧氏空间 Rn\mathbb{R}^n 中，记 y\mathbf{y} 为观测向量，yˉ=yˉ⋅1\bar{\mathbf{y}} = \bar{y}\cdot\mathbf{1} 为均值向量（1\mathbf{1} 为全 1 向量），则残差向量 e=y−y^\mathbf{e} = \mathbf{y} - \hat{\mathbf{y}} 与拟合值向量 y^−yˉ\hat{\mathbf{y}} - \bar{\mathbf{y}} 正交（由 OLS 的正规方程保证）。平方和分解本质上就是勾股定理在 Rn\mathbb{R}^n 中的直接体现：

∥y−yˉ∥2=∥y^−yˉ∥2+∥y−y^∥2\|\mathbf{y} - \bar{\mathbf{y}}\|^2 = \|\hat{\mathbf{y}} - \bar{\mathbf{y}}\|^2 + \|\mathbf{y} - \hat{\mathbf{y}}\|^2

这一几何直觉不仅优雅，而且揭示了 OLS 估计的本质：回归是将因变量向量向设计矩阵 X\mathbf{X} 的列空间做正交投影，SSR 即为投影向量（中心化后）的模长平方。

SSR 与决定系数 R2R^2

回归平方和 SSR 的最直接应用是构造决定系数 R2R^2（Coefficient of Determination），后者是衡量回归模型拟合优度的标准指标：

R2=SSRSST=∑i=1n(y^i−yˉ)2∑i=1n(yi−yˉ)2R^2 = \frac{\text{SSR}}{\text{SST}} = \frac{\sum_{i=1}^{n} (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^{n} (y_i - \bar{y})^2}

利用平方和分解 SST=SSR+SSE\text{SST} = \text{SSR} + \text{SSE}，R2R^2 也可等价地表示为：

R2=1−SSESSTR^2 = 1 - \frac{\text{SSE}}{\text{SST}}

R2R^2 的值域为 [0,1][0, 1]（在含截距项的模型中），其数值直接反映了因变量总变异中被回归模型解释的比例。例如，R2=0.72R^2 = 0.72 意味着因变量 yy 的变异中有 72\% 可归因于自变量的系统性影响，其余 28\% 为模型未能捕捉的残差变异。

值得注意的是，SSR（以及 R2R^2）具有关于自变量数量的单调非减性：向模型中添加任意新自变量（即使该变量与因变量无关），SSR 不会下降，R2R^2 不会减小。这是 SSE 的单调非增性的对偶性质。正因为如此，仅凭 R2R^2 或 SSR 的大小进行模型选择会导致过拟合。实践中常使用调整决定系数 (adjusted R2R^2)，通过自由度惩罚来校正这一偏差：

Rˉ2=1−SSE/(n−k−1)SST/(n−1)\bar{R}^2 = 1 - \frac{\text{SSE} / (n - k - 1)}{\text{SST} / (n - 1)}

调整 R2R^2 仅在新增变量对 SSR 的边际贡献超过自由度损失时才会上升，从而为嵌套模型的选择提供了更可靠的准则。

SSR 在 F 检验中的角色

在多元回归分析中，回归平方和是构建整体显著性 F 检验的核心元素。F 检验的原假设 H0H_0 为所有斜率系数同时为零（即模型整体不显著），备择假设 H1H_1 为至少一个斜率系数不为零。检验统计量为回归均方 (Mean Square Regression, MSR) 与残差均方 (Mean Square Error, MSE) 之比：

F=MSRMSE=SSR/kSSE/(n−k−1)F = \frac{\text{MSR}}{\text{MSE}} = \frac{\text{SSR} / k}{\text{SSE} / (n - k - 1)}

该统计量在 H0H_0 下服从自由度为 (k,n−k−1)(k, n-k-1) 的F分布。F 值的分子 MSR 反映了"平均每个自变量贡献的解释变异"，分母 MSE 反映了"平均每个自由度的未解释变异"。若 SSR 相对于 SSE 足够大（经自由度标准化后），F 统计量将显著大于 1，从而提供拒绝 H0H_0 的证据。

更一般地，对于嵌套模型的比较，设约束模型（restricted model）的残差平方和为 SSER\text{SSE}_R，无约束模型（unrestricted model）的残差平方和为 SSEU\text{SSE}_U，约束条件个数为 qq。则 F 统计量可写为：

F=(SSER−SSEU)/qSSEU/(n−k−1)F = \frac{(\text{SSE}_R - \text{SSE}_U) / q}{\text{SSE}_U / (n - k - 1)}

注意到 SSER−SSEU=SSRU−SSRR\text{SSE}_R - \text{SSE}_U = \text{SSR}_U - \text{SSR}_R，即额外平方和的增量等于回归平方和的增量。因此，任何关于回归系数的线性约束检验最终都可归结为对 SSR 增量的显著性评估。

命名约定与文献差异

SSR 这一缩写在不同教科书和软件中的歧义性是回归分析学习者必须注意的陷阱。常见的三种命名体系如下：

  1. SSR = Sum of Squares Regression（回归平方和）：亦称 ESS (Explained SS) 或 MSS (Model SS)。代表模型解释的变异。这是本词条以及 Wooldridge《Introductory Econometrics》等教材采用的约定。
  2. SSR = Sum of Squares Residual（残差平方和）：亦称 SSE (Sum of Squared Errors) 或 RSS (Residual SS)。代表模型未解释的变异。这是 Stock \& Watson《Introduction to Econometrics》以及 R 语言 \texttt{anova} 输出中的部分用法。
  3. SSR = Sum of Squares due to Regression：与第一种相同，但用 "due to" 强调因果归因。这是经典统计学教材（如 Neter et al.Applied Linear Statistical Models）的常见用法。

为避免混淆，建议读者始终根据上下文（尤其是平方和分解恒等式）来判断 SSR 的具体含义：若公式为 SST=SSR+SSE\text{SST} = \text{SSR} + \text{SSE}，则 SSR 为回归平方和；若公式为 SST=SSE+SSR\text{SST} = \text{SSE} + \text{SSR} 但 SSR 出现在拟合值一侧，则需仔细核对。最安全的做法是使用 ESS（解释平方和）与 RSS（残差平方和）这一对无歧义的缩写。

SSR 与 ANOVA 表的对应

在回归分析的方差分析表 (ANOVA table) 中，SSR 对应"回归"或"模型"行。标准 ANOVA 表的结构如下：

\begin{tabular}{lcccc} 变异来源 \& 平方和 (SS) \& 自由度 (df) \& 均方 (MS) \& F \\ \hline 回归 (Regression) \& SSR \& kk \& MSR = SSR / kk \& MSR / MSE \\ 残差 (Error) \& SSE \& n−k−1n-k-1 \& MSE = SSE / (n−k−1)(n-k-1) \& — \\ 总计 (Total) \& SST \& n−1n-1 \& — \& — \\ \end{tabular}

ANOVA 表将平方和分解、自由度分配、均方计算和 F 检验统一在同一框架中，是回归分析标准输出的核心组成部分。SSR 作为该表的第一行，其大小和显著性直接决定了模型的整体评估结论。

计算实例

考虑一个简单的消费函数回归：以家庭月收入（xx，千元）解释月消费支出（yy，千元）。样本数据如下（n=5n = 5）：

x357911y2.53.85.06.58.2\begin{array}{c|ccccc} x & 3 & 5 & 7 & 9 & 11 \\ \hline y & 2.5 & 3.8 & 5.0 & 6.5 & 8.2 \\ \end{array}

算得 yˉ=5.2\bar{y} = 5.2，xˉ=7\bar{x} = 7。OLS 估计得回归方程 y^=0.55+0.665x\hat{y} = 0.55 + 0.665x。由此计算：

  • SST = (2.5−5.2)2+(3.8−5.2)2+(5.0−5.2)2+(6.5−5.2)2+(8.2−5.2)2=19.18(2.5-5.2)^2 + (3.8-5.2)^2 + (5.0-5.2)^2 + (6.5-5.2)^2 + (8.2-5.2)^2 = 19.18
  • 各点拟合值：y^={2.545,3.875,5.205,6.535,7.865}\hat{y} = \{2.545, 3.875, 5.205, 6.535, 7.865\}
  • SSR = (2.545−5.2)2+(3.875−5.2)2+(5.205−5.2)2+(6.535−5.2)2+(7.865−5.2)2=17.66(2.545-5.2)^2 + (3.875-5.2)^2 + (5.205-5.2)^2 + (6.535-5.2)^2 + (7.865-5.2)^2 = 17.66
  • SSE = (2.5−2.545)2+(3.8−3.875)2+(5.0−5.205)2+(6.5−6.535)2+(8.2−7.865)2=1.52(2.5-2.545)^2 + (3.8-3.875)^2 + (5.0-5.205)^2 + (6.5-6.535)^2 + (8.2-7.865)^2 = 1.52

验证平方和分解：19.18≈17.66+1.52=19.1819.18 \approx 17.66 + 1.52 = 19.18，成立。决定系数 R2=17.66/19.18≈0.921R^2 = 17.66 / 19.18 \approx 0.921，表明收入解释了消费支出变异的约 92.1\%。F 统计量 F=(17.66/1)/(1.52/3)=34.86F = (17.66 / 1) / (1.52 / 3) = 34.86，在 F(1,3)F(1, 3) 分布下高度显著。

小结

回归平方和 SSR 是回归分析中度量模型解释力的基本统计量，在方差分解、决定系数计算和 F 检验构造中具有不可替代的地位。它与 SST、SSE 共同构成的平方和分解恒等式（SST=SSR+SSE\text{SST} = \text{SSR} + \text{SSE}）是线性模型理论的核心代数结构。正确理解 SSR 的定义、计算和统计含义，是深入学习计量经济学和统计学中回归分析、模型诊断和假设检验的前提。同时，读者应警惕 SSR 缩写在不同教材中的歧义性，始终以平方和分解的具体形式为准来辨别其含义。