知经百科 / Z

组间平方和 (Sum of Squares Between, SSB)

组间平方和 (Sum of Squares Between, SSB)

定义

组间平方和(Sum of Squares Between, SSB),亦称为处理平方和(Sum of Squares Treatment, SSTR)、组间离差平方和或回归平方和,是方差分析(Analysis of Variance, ANOVA)中衡量各组均值与总均值之间差异平方总和的关键统计量。它反映了不同组(或不同处理)之间由于组别因素造成的变异大小。在方差分析框架中,SSB 是分解总变异的核心组成部分,直接用于检验各组总体均值是否存在显著差异。

在单因素方差分析(One-Way ANOVA)中,设有 k k 个组(处理),第 i i 组有 ni n_i 个观测值,记 xij x_{ij} 为第 i i 组的第 j j 个观测值,xˉi \bar{x}_i 为第 i i 组的样本均值,xˉ \bar{x} 为全体观测值的总均值(总平均数),则组间平方和定义为:

SSB=i=1kni(xˉixˉ)2SSB = \sum_{i=1}^{k} n_i (\bar{x}_i - \bar{x})^2

其中 xˉi=1nij=1nixij \bar{x}_i = \frac{1}{n_i} \sum_{j=1}^{n_i} x_{ij} xˉ=1Ni=1kj=1nixij \bar{x} = \frac{1}{N} \sum_{i=1}^{k} \sum_{j=1}^{n_i} x_{ij} N=i=1kni N = \sum_{i=1}^{k} n_i 为总样本量。从公式可以看出,SSB 以各组样本量为权重,对组均值与总均值之间的偏差平方进行加权求和。这意味着样本量较大的组对 SSB 的贡献更大,这在实际数据分析中是合理的——大样本组所提供的信息更为可靠。

与总平方和、组内平方和的关系

方差分析的核心思想是将总变异分解为组间变异和组内变异两部分,这是罗纳德·费希尔(R. A. Fisher)在 20 世纪 20 年代提出的革命性统计思想。总平方和(Total Sum of Squares, SST)衡量所有观测值相对于总均值的总离散程度:

SST=i=1kj=1ni(xijxˉ)2SST = \sum_{i=1}^{k} \sum_{j=1}^{n_i} (x_{ij} - \bar{x})^2

组内平方和(Sum of Squares Within, SSW),亦称残差平方和(Sum of Squares Error, SSE),衡量各观测值相对于其所在组均值的离散程度,反映了随机误差的大小:

SSW=i=1kj=1ni(xijxˉi)2SSW = \sum_{i=1}^{k} \sum_{j=1}^{n_i} (x_{ij} - \bar{x}_i)^2

方差分析的基本恒等式为:

SST=SSB+SSWSST = SSB + SSW

这一分解式是方差分析的基石,它表明总变异可以分解为:由组间差异解释的部分(SSB)和组内随机误差部分(SSW)。当组间差异越大(即各组均值偏离总均值越远),SSB 越大,说明组别因素对响应变量的影响越显著。反之,如果各组均值接近总均值,则 SSB 较小,意味着组别因素的解释力有限。

从几何角度看,SSB、SSW 和 SST 之间满足勾股定理式的关系——三者构成一个直角三角形的三边,其中 SST 为斜边。这一几何解释源于线性代数中的正交投影:组间变异和组内变异在向量空间中相互正交。

自由度和均方

组间平方和的自由度为 k1 k-1 (即组数减 1),这是因为在给定总均值的条件下,k k 个组的均值中只有 k1 k-1 个是自由变化的——最后一个组均值可由总均值和其余 k1 k-1 个组均值唯一确定。组间均方(Mean Square Between, MSB)定义为:

MSB=SSBk1MSB = \frac{SSB}{k-1}

类似地,组内均方(Mean Square Within, MSW)为 MSW=SSWNk MSW = \frac{SSW}{N-k} 。均方的引入是为了消除自由度对平方和大小的影响,使得不同自由度的变异来源可以在同一尺度上进行比较。

在零假设 H0:μ1=μ2==μk H_0: \mu_1 = \mu_2 = \cdots = \mu_k (各组总体均值相等)成立的条件下,MSB MSB MSW MSW 均为总体方差 σ2 \sigma^2 的无偏估计,它们的比值服从 F 分布:

F=MSBMSWF(k1,Nk)F = \frac{MSB}{MSW} \sim F_{(k-1,\, N-k)}

这一 F 统计量是方差分析假设检验的核心。当 F 值较大(超过临界值)时,拒绝零假设,认为至少有一个组的总体均值与其他组存在显著差异。

决定系数 R2 R^2 与效应量

在方差分析的语境中,组间平方和与总平方和的比值称为决定系数(coefficient of determination),也记作 η2 \eta^2 (Eta-squared):

R2=η2=SSBSSTR^2 = \eta^2 = \frac{SSB}{SST}

它衡量组别因素所能解释的总变异比例。R2 R^2 的取值范围为 [0,1] [0, 1] ,值越大说明组间差异对总变异的解释力越强。当 R2=1 R^2 = 1 时,意味着所有组内变异均为零,各组内部观测值完全相同;当 R2=0 R^2 = 0 时,各组均值全部相等,组别因素对响应变量完全无影响。

η2 \eta^2 外,常用的效应量指标还包括 Cohen's f f ,其定义为:

f=η21η2=SSBSSWf = \sqrt{\frac{\eta^2}{1-\eta^2}} = \sqrt{\frac{SSB}{SSW}}

Cohen 提出了经验性的判定标准:f=0.10 f = 0.10 为小效应,f=0.25 f = 0.25 为中效应,f=0.40 f = 0.40 为大效应。这些效应量指标在元分析(meta-analysis)和统计功效分析(power analysis)中有广泛应用。

计算示例

考虑一个简单的例子:三种不同教学方法(A、B、C)对学生成绩的影响。假设各组数据如下:

  • A 组:85, 90, 88(n1=3 n_1=3 xˉ1=87.67 \bar{x}_1=87.67
  • B 组:78, 82, 80(n2=3 n_2=3 xˉ2=80.00 \bar{x}_2=80.00
  • C 组:92, 95, 93(n3=3 n_3=3 xˉ3=93.33 \bar{x}_3=93.33

总均值 xˉ=(85+90+88+78+82+80+92+95+93)/9=783/9=87.00 \bar{x} = (85+90+88+78+82+80+92+95+93) / 9 = 783 / 9 = 87.00

计算组间平方和:

SSB=3×(87.6787.00)2+3×(80.0087.00)2+3×(93.3387.00)2SSB = 3 \times (87.67-87.00)^2 + 3 \times (80.00-87.00)^2 + 3 \times (93.33-87.00)^2
SSB=3×0.4489+3×49.00+3×40.1089=1.3467+147.00+120.3267268.67SSB = 3 \times 0.4489 + 3 \times 49.00 + 3 \times 40.1089 = 1.3467 + 147.00 + 120.3267 \approx 268.67

相应地,总平方和 SST 可通过直接计算所有观测值与总均值的偏差平方和得到,然后利用 SSW = SST - SSB 得到组内平方和。在本例中,不同教学方法之间产生了约 268.67 的变异量,而总平方和 SST 约为 282.00,因此 R2=268.67/282.000.953 R^2 = 268.67 / 282.00 \approx 0.953 ,说明教学方法解释了约 95.3\% 的成绩变异,这是一个非常大的效应。

在多元回归中的推广

在多元线性回归分析中,SSB 对应回归平方和(Regression Sum of Squares, SSR)——即模型拟合值 y^i \hat{y}_i 与总均值 yˉ \bar{y} 之间的离差平方和:

SSR=i=1N(y^iyˉ)2SSR = \sum_{i=1}^{N} (\hat{y}_i - \bar{y})^2

此时 SSB(在回归语境中更常称为 SSR)衡量的是回归模型所能解释的变异部分,与残差平方和 SSE 共同构成总平方和。F 统计量用于检验回归模型的整体显著性:

F=SSR/pSSE/(Np1)F(p,Np1)F = \frac{SSR / p}{SSE / (N-p-1)} \sim F_{(p,\, N-p-1)}

其中 p p 为自变量的个数。

多因素方差分析中的 SSB

在双因素方差分析(Two-Way ANOVA)中,总变异可以分解为多个来源:因素 A 的主效应、因素 B 的主效应、A 与 B 的交互效应以及残差(组内变异)。每个主效应和交互效应都有其对应的 SSB,分别记为 SSA SS_A SSB SS_B SSAB SS_{AB} ,分解式为:

SST=SSA+SSB+SSAB+SSESST = SS_A + SS_B + SS_{AB} + SSE

这种分解使得研究者可以同时评估多个因素及其交互作用对响应变量的影响,是实验设计中极为强大的分析工具。

与离差平方和的关系

在更一般的统计语境中,SSB 与"离差平方和"概念密切相关。离差平方和泛指观测值与其均值之差的平方和,而 SSB 特指组均值与总均值之间的离差平方和(以样本量加权)。在回归分析中,SSB 对应回归平方和,代表模型可解释的变异部分。

注意事项与局限

  1. 平衡与不平衡设计:在非平衡设计(各组样本量 ni n_i 不等)中,SSB 的计算需以 ni n_i 为权重,大样本组对 SSB 的贡献更大。不平衡设计可能导致检验功效降低,应谨慎解释结果。
  1. 方差齐性假设:方差分析的有效性依赖于各组总体方差相等的假设(方差齐性)。当方差严重不齐时,F 检验的显著性水平可能失真。此时可考虑 Welch 方差分析或非参数替代方法(如 Kruskal-Wallis 检验)。
  1. 多重比较问题:F 检验显著仅表明至少有一组与其他组不同,但无法指明具体哪些组之间存在差异。事后多重比较(如 Tukey HSD、Bonferroni 校正)常用于进一步探索具体的组间差异。
  1. 效应量 vs. 显著性:SSB 及其衍生的 R2 R^2 η2 \eta^2 提供的是效应量信息,与统计显著性(p 值)互补。在大样本下,即使效应量很小,F 检验也可能显著;反之,在小样本下,即使效应量很大,F 检验也可能不显著。

参考文献

  • Fisher, R. A. (1925). Statistical Methods for Research Workers. Oliver \& Boyd.
  • Scheffé, H. (1959). The Analysis of Variance. John Wiley \& Sons.
  • Montgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). John Wiley \& Sons.
  • Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum Associates.
  • Neter, J., Kutner, M. H., Nachtsheim, C. J., \& Wasserman, W. (1996). Applied Linear Statistical Models (4th ed.). Irwin.

返回百科索引