KNOWECON WIKI

ARTICLE

ESS (Explained Sum of Squares)

ESS（Explained Sum of Squares，解释平方和），又称回归平方和（SSR, Regression Sum of Squares）或模型平方和（Model Sum of Squares），是回归分析中方差分解的核心组成部分。ESS 度量了回归模型所解释的因变量变异量，即回归拟合值 y_i 围绕其均值 y 的波动程度。ESS 的值越大，说明

浏览 0 更新 2025-10-26

ESS（Explained Sum of Squares，解释平方和），又称回归平方和（SSR, Regression Sum of Squares）或模型平方和（Model Sum of Squares），是回归分析中方差分解的核心组成部分。ESS 度量了回归模型所解释的因变量变异量，即回归拟合值 y^i \hat{y}_i 围绕其均值 yˉ \bar{y} 的波动程度。ESS 的值越大，说明回归模型能够解释的变异越多，模型的拟合效果越好。

定义与公式

在简单线性回归或多元回归模型中，总平方和（TSS, Total Sum of Squares）可分解为两部分：

TSS=ESS+RSS\text{TSS} = \text{ESS} + \text{RSS}

其中各部分的定义如下：

  • TSS（总平方和）：TSS=∑i=1n(yi−yˉ)2 \text{TSS} = \sum_{i=1}^{n} (y_i - \bar{y})^2 ，反映因变量的总变异程度。
  • ESS（解释平方和）：ESS=∑i=1n(y^i−yˉ)2 \text{ESS} = \sum_{i=1}^{n} (\hat{y}_i - \bar{y})^2 ，反映由回归模型所解释的变异部分。
  • RSS（残差平方和）：RSS=∑i=1n(yi−y^i)2 \text{RSS} = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 ，反映模型未能解释的随机误差部分。

ESS 越大，说明回归模型对数据的拟合程度越好。当模型完全拟合数据时，y^i=yi \hat{y}_i = y_i 对所有 i i 成立，此时 ESS 等于 TSS，RSS 等于 0。反之，如果模型没有任何解释能力（例如仅包含截距项的模型），则 ESS 等于 0，TSS 全部由 RSS 构成。

在矩阵形式下，ESS 也可表示为：

ESS=β^′X′y−nyˉ2\text{ESS} = \hat{\boldsymbol{\beta}}' \mathbf{X}' \mathbf{y} - n\bar{y}^2

其中 β^ \hat{\boldsymbol{\beta}} 为回归系数估计向量，X \mathbf{X} 为设计矩阵，n n 为样本量。这一表达式在多元线性回归的推导中尤为常用。

与 R2 R^2 的关系

ESS 与总平方和 TSS 的比值即为决定系数 R2 R^2 ：

R2=ESSTSS=1−RSSTSSR^2 = \frac{\text{ESS}}{\text{TSS}} = 1 - \frac{\text{RSS}}{\text{TSS}}

R2 R^2 的取值范围是 [0,1] [0, 1] ，它表示回归模型所能解释的因变量方差比例。ESS 等于 TSS 时 R2=1 R^2=1 ，说明模型完美拟合数据；ESS 等于 0 时 R2=0 R^2=0 ，说明模型没有任何解释力。在实际应用中，R2 R^2 是衡量模型拟合优度最常用的指标之一。

与 SSR/SSTO 的符号约定

不同教材和软件对平方和的符号命名存在显著差异，容易造成混淆。以下为常见对照表：

| 缩写 | 全称 | 含义 | |------|------|------| | ESS | Explained Sum of Squares | 解释平方和 | | SSR | Sum of Squares due to Regression | 回归平方和（与 ESS 等价） | | SSE | Sum of Squares due to Error | 误差平方和（即 RSS） | | SST | Total Sum of Squares | 总平方和（即 TSS） | | SSR | Sum of Squares Residual | 残差平方和（即 RSS，常见于 Stata） |

在使用时需根据具体教材或软件的符号体系加以区分。例如，R 语言中通常使用 SSR 表示回归平方和（即 ESS），而 Stata 中 SSR 表示残差平方和（即 RSS）。

假设检验中的应用

在 F F 检验（回归整体显著性检验）中，ESS 与 RSS 共同构成检验统计量：

F=ESS/kRSS/(n−k−1)=MSRMSEF = \frac{\text{ESS} / k}{\text{RSS} / (n - k - 1)} = \frac{\text{MSR}}{\text{MSE}}

其中 k k 为自变量个数（不包括截距项），n n 为样本量，MSR 为回归均方，MSE 为误差均方。该统计量服从 F(k,n−k−1) F(k, n-k-1) 分布，用于检验回归模型整体的显著性，即是否至少有一个自变量对因变量有显著影响。原假设 H0:β1=β2=⋯=βk=0 H_0: \beta_1 = \beta_2 = \cdots = \beta_k = 0 下，F F 值接近 1；若模型具有解释力，F F 值显著大于 1。

计算示例

假设有一个简单线性回归模型，因变量 y y 的观测值为 [2,4,6,8] [2, 4, 6, 8] ，回归拟合值 y^ \hat{y} 为 [3,5,5,7] [3, 5, 5, 7] ，yˉ=5 \bar{y} = 5 。则：

TSS=(2−5)2+(4−5)2+(6−5)2+(8−5)2=9+1+1+9=20\text{TSS} = (2-5)^2 + (4-5)^2 + (6-5)^2 + (8-5)^2 = 9 + 1 + 1 + 9 = 20
ESS=(3−5)2+(5−5)2+(5−5)2+(7−5)2=4+0+0+4=8\text{ESS} = (3-5)^2 + (5-5)^2 + (5-5)^2 + (7-5)^2 = 4 + 0 + 0 + 4 = 8
RSS=(2−3)2+(4−5)2+(6−5)2+(8−7)2=1+1+1+1=4\text{RSS} = (2-3)^2 + (4-5)^2 + (6-5)^2 + (8-7)^2 = 1 + 1 + 1 + 1 = 4

验证：8+4=12≠20 8 + 4 = 12 \neq 20 ？这里 ESS+RSS=12<20 \text{ESS} + \text{RSS} = 12 < 20 ，说明回归模型未能完全分解 TSS。实际上该示例中的拟合值并非来自 OLS 估计，因此不满足正交分解性质。在 OLS 回归中，ESS 与 RSS 正交，严格满足 TSS=ESS+RSS \text{TSS} = \text{ESS} + \text{RSS} 。

局限性

ESS 随自变量数量的增加而单调不减（即使加入无关变量也会增大），因此不能单独用于模型选择。这一缺陷可通过以下方式缓解：

  1. 调整 R2 R^2 （Adjusted R2 R^2 ）：对自变量个数进行惩罚，Rˉ2=1−RSS/(n−k−1)TSS/(n−1) \bar{R}^2 = 1 - \frac{\text{RSS}/(n-k-1)}{\text{TSS}/(n-1)}
  2. 信息准则：AIC、BIC 等在模型复杂度与拟合优度之间权衡
  3. 交叉验证：通过样本外预测误差评估模型泛化能力

参见

  • [RSS (Residual Sum of Squares)]
  • [TSS (Total Sum of Squares)]
  • [R2 R^2 (Coefficient of Determination)]
  • [F-test in Regression]
  • [Adjusted R2 R^2 ]
  • [ANOVA in Regression]