知经 KNOWECON
登录 注册

知经百科 / E

ESS (Explained Sum of Squares)

ESS（Explained Sum of Squares，解释平方和），又称回归平方和（SSR, Regression Sum of Squares）或模型平方和（Model Sum of Squares），是回归分析中方差分解的核心组成部分。ESS 度量了回归模型所解释的因变量变异量，即回归拟合值 y^i \hat{y}_i 围绕其均值 yˉ \bar{y} 的波动程度。ESS 的值越大，说明回归模型能够解释的变异越多，模型的拟合效果越好。

定义与公式

在简单线性回归或多元回归模型中，总平方和（TSS, Total Sum of Squares）可分解为两部分：

TSS=ESS+RSS\text{TSS} = \text{ESS} + \text{RSS}

其中各部分的定义如下：

  • TSS（总平方和）：TSS=∑i=1n(yi−yˉ)2 \text{TSS} = \sum_{i=1}^{n} (y_i - \bar{y})^2 ，反映因变量的总变异程度。
  • ESS（解释平方和）：ESS=∑i=1n(y^i−yˉ)2 \text{ESS} = \sum_{i=1}^{n} (\hat{y}_i - \bar{y})^2 ，反映由回归模型所解释的变异部分。
  • RSS（残差平方和）：RSS=∑i=1n(yi−y^i)2 \text{RSS} = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 ，反映模型未能解释的随机误差部分。

ESS 越大，说明回归模型对数据的拟合程度越好。当模型完全拟合数据时，y^i=yi \hat{y}_i = y_i 对所有 i i 成立，此时 ESS 等于 TSS，RSS 等于 0。反之，如果模型没有任何解释能力（例如仅包含截距项的模型），则 ESS 等于 0，TSS 全部由 RSS 构成。

在矩阵形式下，ESS 也可表示为：

ESS=β^′X′y−nyˉ2\text{ESS} = \hat{\boldsymbol{\beta}}' \mathbf{X}' \mathbf{y} - n\bar{y}^2

其中 β^ \hat{\boldsymbol{\beta}} 为回归系数估计向量，X \mathbf{X} 为设计矩阵，n n 为样本量。这一表达式在多元线性回归的推导中尤为常用。

与 R2 R^2 的关系

ESS 与总平方和 TSS 的比值即为决定系数 R2 R^2 ：

R2=ESSTSS=1−RSSTSSR^2 = \frac{\text{ESS}}{\text{TSS}} = 1 - \frac{\text{RSS}}{\text{TSS}}

R2 R^2 的取值范围是 [0,1] [0, 1] ，它表示回归模型所能解释的因变量方差比例。ESS 等于 TSS 时 R2=1 R^2=1 ，说明模型完美拟合数据；ESS 等于 0 时 R2=0 R^2=0 ，说明模型没有任何解释力。在实际应用中，R2 R^2 是衡量模型拟合优度最常用的指标之一。

与 SSR/SSTO 的符号约定

不同教材和软件对平方和的符号命名存在显著差异，容易造成混淆。以下为常见对照表：

缩写全称含义
ESSExplained Sum of Squares解释平方和
SSRSum of Squares due to Regression回归平方和（与 ESS 等价）
SSESum of Squares due to Error误差平方和（即 RSS）
SSTTotal Sum of Squares总平方和（即 TSS）
SSRSum of Squares Residual残差平方和（即 RSS，常见于 Stata）

在使用时需根据具体教材或软件的符号体系加以区分。例如，R 语言中通常使用 SSR 表示回归平方和（即 ESS），而 Stata 中 SSR 表示残差平方和（即 RSS）。

假设检验中的应用

在 F F 检验（回归整体显著性检验）中，ESS 与 RSS 共同构成检验统计量：

F=ESS/kRSS/(n−k−1)=MSRMSEF = \frac{\text{ESS} / k}{\text{RSS} / (n - k - 1)} = \frac{\text{MSR}}{\text{MSE}}

其中 k k 为自变量个数（不包括截距项），n n 为样本量，MSR 为回归均方，MSE 为误差均方。该统计量服从 F(k,n−k−1) F(k, n-k-1) 分布，用于检验回归模型整体的显著性，即是否至少有一个自变量对因变量有显著影响。原假设 H0:β1=β2=⋯=βk=0 H_0: \beta_1 = \beta_2 = \cdots = \beta_k = 0 下，F F 值接近 1；若模型具有解释力，F F 值显著大于 1。

计算示例

假设有一个简单线性回归模型，因变量 y y 的观测值为 [2,4,6,8] [2, 4, 6, 8] ，回归拟合值 y^ \hat{y} 为 [3,5,5,7] [3, 5, 5, 7] ，yˉ=5 \bar{y} = 5 。则：

TSS=(2−5)2+(4−5)2+(6−5)2+(8−5)2=9+1+1+9=20\text{TSS} = (2-5)^2 + (4-5)^2 + (6-5)^2 + (8-5)^2 = 9 + 1 + 1 + 9 = 20
ESS=(3−5)2+(5−5)2+(5−5)2+(7−5)2=4+0+0+4=8\text{ESS} = (3-5)^2 + (5-5)^2 + (5-5)^2 + (7-5)^2 = 4 + 0 + 0 + 4 = 8
RSS=(2−3)2+(4−5)2+(6−5)2+(8−7)2=1+1+1+1=4\text{RSS} = (2-3)^2 + (4-5)^2 + (6-5)^2 + (8-7)^2 = 1 + 1 + 1 + 1 = 4

验证：8+4=12≠20 8 + 4 = 12 \neq 20 ？这里 ESS+RSS=12<20 \text{ESS} + \text{RSS} = 12 < 20 ，说明回归模型未能完全分解 TSS。实际上该示例中的拟合值并非来自 OLS 估计，因此不满足正交分解性质。在 OLS 回归中，ESS 与 RSS 正交，严格满足 TSS=ESS+RSS \text{TSS} = \text{ESS} + \text{RSS} 。

局限性

ESS 随自变量数量的增加而单调不减（即使加入无关变量也会增大），因此不能单独用于模型选择。这一缺陷可通过以下方式缓解：

  1. 调整 R2 R^2 （Adjusted R2 R^2 ）：对自变量个数进行惩罚，Rˉ2=1−RSS/(n−k−1)TSS/(n−1) \bar{R}^2 = 1 - \frac{\text{RSS}/(n-k-1)}{\text{TSS}/(n-1)}
  2. 信息准则：AIC、BIC 等在模型复杂度与拟合优度之间权衡
  3. 交叉验证：通过样本外预测误差评估模型泛化能力

参见

  • [RSS (Residual Sum of Squares)]
  • [TSS (Total Sum of Squares)]
  • [R2 R^2 (Coefficient of Determination)]
  • [F-test in Regression]
  • [Adjusted R2 R^2 ]
  • [ANOVA in Regression]

返回百科索引