知经百科 / Z

组内平方和 (Sum of Squares Within, SSW)

组内平方和 (Sum of Squares Within, SSW)

组内平方和(Sum of Squares Within,缩写 SSW),也称误差平方和(Sum of Squares Error, SSE)或残差平方和(Residual Sum of Squares, RSS),是方差分析 (ANOVA)回归分析中方差分解的核心组成部分。SSW 度量了各组内部观测值围绕其组均值的波动程度,反映了随机误差或个体差异的大小。在 ANOVA 中,SSW 与组间平方和(SSB)共同构成总平方和(SST),是判断分组因素是否具有显著效应的关键比较基准。

定义与公式

在单因素方差分析中,假设有 kk 个组(处理水平),第 ii 组有 nin_i 个观测值,总样本量为 N=i=1kniN = \sum_{i=1}^k n_i。记 YijY_{ij} 为第 ii 组的第 jj 个观测值,Yˉi\bar{Y}_i 为第 ii 组的组均值。则组内平方和定义为:

SSW=i=1kj=1ni(YijYˉi)2\text{SSW} = \sum_{i=1}^k \sum_{j=1}^{n_i} (Y_{ij} - \bar{Y}_i)^2

SSW 衡量的是每个观测值与其所在组均值的偏离程度。由于这些偏离被认为来自随机误差而非系统性差异,SSW 也被称为误差平方和(SSE)。与之对比,总平方和(SST)和组间平方和(SSB)分别定义为:

SST=i=1kj=1ni(YijYˉ)2,SSB=i=1kni(YˉiYˉ)2\text{SST} = \sum_{i=1}^k \sum_{j=1}^{n_i} (Y_{ij} - \bar{Y})^2,\qquad \text{SSB} = \sum_{i=1}^k n_i (\bar{Y}_i - \bar{Y})^2

其中 Yˉ\bar{Y} 为所有观测值的总均值。三者满足方差分解的基本恒等式:

SST=SSB+SSW\text{SST} = \text{SSB} + \text{SSW}

这一关系表明,观测数据的总变异可以精确地分解为两个相互正交的部分:由组间均值差异所解释的部分(SSB)和由组内个体差异所代表的随机误差部分(SSW)。

自由度

SSW 的自由度为总样本量减去组数:

dfSSW=Nkdf_{\text{SSW}} = N - k

其直观含义是:在已知 kk 个组均值的条件下,全部 NN 个观测值中自由变动的观测值个数。每组有 nin_i 个观测值,但在组均值固定的约束下,每组内自由变动的观测值数为 ni1n_i - 1,因此总的自由度即为 i=1k(ni1)=Nk\sum_{i=1}^k (n_i - 1) = N - k

SSB 的自由度为 k1k - 1(组数减一),SST 的自由度为 N1N - 1。自由度的加法分解 SST:N1=(k1)+(Nk)\text{SST}: N-1 = (k-1) + (N-k) 与平方和的加法分解完全对应。

组内均方

将 SSW 除以其自由度即得到组内均方(Mean Square Within, MSW),也称误差均方(Mean Square Error, MSE):

MSW=SSWNk\text{MSW} = \frac{\text{SSW}}{N - k}

MSW 是总体方差 σ2\sigma^2 的一个无偏估计量(在满足方差齐性假设的前提下)。无论零假设是否成立,MSW 始终估计 σ2\sigma^2,因为它仅反映组内变异,不受组间均值差异的影响。这一性质是 ANOVA 中 F 检验能够有效运作的关键基础。

在F检验中的作用

ANOVA 的核心检验统计量 F 值为组间均方与组内均方之比:

F=MSBMSW=SSB/(k1)SSW/(Nk)F = \frac{\text{MSB}}{\text{MSW}} = \frac{\text{SSB} / (k-1)}{\text{SSW} / (N-k)}

在零假设 H0:μ1=μ2==μkH_0: \mu_1 = \mu_2 = \cdots = \mu_k 成立时,MSB 和 MSW 都是 σ2\sigma^2 的无偏估计,F 值服从自由度为 (k1,Nk)(k-1, N-k)F分布,期望值接近 1。若组间均值确实存在差异,MSB 会系统性地大于 MSW,F 值显著大于 1,从而拒绝零假设。

SSW 在该检验中扮演着"噪声基准"的角色——只有当组间变异(信号)相对于组内变异(噪声)足够大时,才能判定分组效应在统计上显著。SSW 越小,意味着各组内部观测值越一致,统计检验力越高,越容易检测出微小的组间差异。

与回归分析中残差平方和的关系

线性回归的语境中,SSW 对应于残差平方和(RSS 或 SSE),即观测值 YiY_i 与回归拟合值 Y^i\hat{Y}_i 之差的平方和:

RSS=i=1n(YiY^i)2\text{RSS} = \sum_{i=1}^n (Y_i - \hat{Y}_i)^2

单因素 ANOVA 与线性回归存在深刻的数学等价性:将 ANOVA 中的分组变量构造为 k1k-1虚拟变量纳入回归模型,则回归残差平方和恰好等于 ANOVA 中的 SSW,回归平方和(SSR)恰好等于组间平方和 SSB。这意味着 ANOVA 可视为线性回归模型在预测变量全部为分类变量时的一个特例。

计算示例

假设有三种教学方法(A、B、C),每种方法测试 4 名学生的成绩(满分 100):

  • A 组:85, 90, 88, 93\quad YˉA=89\bar{Y}_A = 89
  • B 组:78, 82, 80, 76\quad YˉB=79\bar{Y}_B = 79
  • C 组:92, 95, 89, 96\quad YˉC=93\bar{Y}_C = 93

总均值 Yˉ=(89+79+93)/3=87\bar{Y} = (89 + 79 + 93) / 3 = 87

各组 SSW 计算如下:

SSWA=(8589)2+(9089)2+(8889)2+(9389)2=16+1+1+16=34SSWB=(7879)2+(8279)2+(8079)2+(7679)2=1+9+1+9=20SSWC=(9293)2+(9593)2+(8993)2+(9693)2=1+4+16+9=30\begin{aligned} \text{SSW}_A &= (85-89)^2 + (90-89)^2 + (88-89)^2 + (93-89)^2 \\ &= 16 + 1 + 1 + 16 = 34 \\ \text{SSW}_B &= (78-79)^2 + (82-79)^2 + (80-79)^2 + (76-79)^2 \\ &= 1 + 9 + 1 + 9 = 20 \\ \text{SSW}_C &= (92-93)^2 + (95-93)^2 + (89-93)^2 + (96-93)^2 \\ &= 1 + 4 + 16 + 9 = 30 \end{aligned}

故:

SSW=34+20+30=84,dfSSW=123=9,MSW=8499.33\text{SSW} = 34 + 20 + 30 = 84,\quad df_{\text{SSW}} = 12 - 3 = 9,\quad \text{MSW} = \frac{84}{9} \approx 9.33

与组间平方和:

SSB=4×[(8987)2+(7987)2+(9387)2]=4×(4+64+36)=416\text{SSB} = 4 \times [(89-87)^2 + (79-87)^2 + (93-87)^2] = 4 \times (4 + 64 + 36) = 416

可得 F 统计量:

F=SSB/(k1)SSW/(Nk)=416/284/9=2089.3322.29F = \frac{\text{SSB} / (k-1)}{\text{SSW} / (N-k)} = \frac{416 / 2}{84 / 9} = \frac{208}{9.33} \approx 22.29

该 F 值在自由度为 (2,9)(2, 9) 的 F 分布下高度显著(p<0.001p < 0.001),表明不同教学方法对学生成绩有显著影响。

影响SSW大小的因素

SSW 的大小受多种因素影响。其一是组内同质性:若各组内部的观测值高度一致,SSW 较小;组内个体差异越大,SSW 越大。其二是样本量:在组内变异程度固定的情况下,增加样本量会使 SSW 增大(因为求和项数增多),但 MSW 作为方差估计值会趋于稳定。其三是测量误差:测量工具的精度越低、随机误差越大,SSW 也越大,这会削弱检测组间差异的统计效力。其四是异常值:个别极端值会显著增大 SSW,可能掩盖真实的组间差异。

假设条件

SSW 作为方差估计量的有效性依赖于方差分析的基本假设。首先需要满足独立性:各组内的观测值应相互独立,通常由随机抽样和随机分配来保障。其次是正态性:各组内的观测值来自正态分布总体,或样本量足够大从而可借助中心极限定理保证 MSW 的分布近似卡方分布。其三是方差齐性:各组总体方差相等(σ12=σ22==σk2\sigma_1^2 = \sigma_2^2 = \cdots = \sigma_k^2),否则 SSW 将不再是各组误差的公平综合——某些组的信息可能被过度加权或忽略。方差齐性可通过Levene检验Bartlett检验进行诊断。当方差齐性假设严重不满足时,可考虑使用Welch校正的 ANOVA 或Kruskal-Wallis检验等非参数替代方法。

在多因素ANOVA中的推广

在双因素或多因素 ANOVA 中,组内平方和的概念进一步推广为误差平方和(SSE),表示模型中所有可识别的主效应和交互效应被解释之后剩余的变异部分:

SST=SSA+SSB+SSA×B+SSE\text{SST} = \text{SS}_A + \text{SS}_B + \text{SS}_{A \times B} + \text{SSE}

此时 SSE 的自由度为 NabN - ab(双因素等重复情形,aabb 分别为两个因素的水平数)。每个效应的 F 检验均以 SSE 对应的均方作为比较基准。因此,SSW/SSE 的准确计算是多元 ANOVA 中每个假设检验的基础。

在效应量指标中的应用

SSW 被用于计算多种效应量指标。最常见的为 Eta-squared (η²)

η2=SSBSST=1SSWSST\eta^2 = \frac{\text{SSB}}{\text{SST}} = 1 - \frac{\text{SSW}}{\text{SST}}

η² 解释为组间变异占总变异的比例。还可计算 Cohen's f 效应量:

f=η21η2=SSBSSWf = \sqrt{\frac{\eta^2}{1 - \eta^2}} = \sqrt{\frac{\text{SSB}}{\text{SSW}}}

Cohen's f 为 0.10、0.25、0.40 分别对应小、中、大三种效应量水平。这些指标均依赖于 SSW 作为噪声基准来量化效应强度。

与总平方和、组间平方和的关系总表

为便于系统理解,将 ANOVA 中三种平方和的属性整理如下:

\begin{tabular}{lccc} \hline 统计量 \& 公式 \& 自由度 \& 含义 \\ \hline SST(总平方和) \& ij(YijYˉ)2\sum_{i}\sum_{j} (Y_{ij} - \bar{Y})^2 \& N1N-1 \& 总变异 \\ SSB(组间平方和) \& ini(YˉiYˉ)2\sum_{i} n_i (\bar{Y}_i - \bar{Y})^2 \& k1k-1 \& 可解释变异 \\ SSW(组内平方和) \& ij(YijYˉi)2\sum_{i}\sum_{j} (Y_{ij} - \bar{Y}_i)^2 \& NkN-k \& 随机误差变异 \\ \hline \end{tabular}

三者恒满足 SST = SSB + SSW,且相应的自由度也满足加法分解。这一分解结构是方差分析整个推断体系的逻辑基础——通过比较 SSB 与 SSW 的相对大小来推断分组因素是否显著影响响应变量。

总结

组内平方和(SSW)作为方差分析中随机误差的度量,是判断分组效应统计显著性的基准参照。它捕捉了各组内部个体之间的自然变异,为区分系统性差异与随机波动提供了"噪声"标尺。在 ANOVA 的 F 检验中,SSW 的大小直接决定了检测组间效应的灵敏度——SSW 越小,即使是较小的组间差异也能被可靠地识别;反之,若 SSW 过大(组内个体差异显著),即使组间均值存在实质性差异也可能无法通过显著性检验。理解 SSW 的计算、分解和假设条件,是掌握方差分析乃至更一般线性模型推断方法的基础。

参见

返回百科索引