# 方差分析 (Analysis of Variance, ANOVA)
方差分析 (Analysis of Variance, ANOVA) 是一种在 {{{统计学}}} 中广泛使用的 {{{假设检验}}} 方法，由著名统计学家{{{罗纳德·费雪}}} (Ronald Fisher) 爵士在20世纪20年代提出。尽管其名称中包含“方差”，但ANOVA的核心目标是检验 三个或更多组的{{{均值}}}是否存在显著差异。它通过分析数据总变异的不同来源，来判断由分组（或处理）引起的变异是否显著大于组内随机变异，从而对各组均值是否相等做出推断。
ANOVA在实验设计、心理学、生物学、经济学和工程学等众多领域都有着至关重要的应用。例如，一位研究者可能想比较三种不同教学方法对学生考试成绩的平均影响，或者一家公司希望确定四种不同广告方案对其产品销量的平均提升效果是否相同。
## 核心思想：方差的分解
ANOVA方法之所以被称为“方差分析”，是因为它的基本逻辑建立在对数据总{{{方差}}}（或更准确地说是总变异）的分解之上。其核心思想是：如果不同组别的均值确实存在差异，那么组间所表现出的变异应该会显著大于每个组内部成员之间的随机变异。
我们可以将数据中观察到的总变异（Total Variation）分解为两个主要部分：
1. 组间变异 (Between-Group Variation)：由分组变量（也称为“因子”或“处理”）的不同水平所引起的变异。它衡量的是各组的均值与所有观测值的总均值之间的差异。如果组间变异很大，则意味着各组的均值彼此相距较远。
2. 组内变异 (Within-Group Variation)：不能由分组变量解释的变异，通常被视为随机{{{误差}}}或抽样变异。它衡量的是每个组内部的观测值与其所在组的均值之间的差异。
ANOVA的根本逻辑可以用以下恒等式表示：
$$ \text{总平方和 (SST)} = \text{组间平方和 (SSB)} + \text{组内平方和 (SSW)} $$
* 总平方和 (Total Sum of Squares, SST)：衡量数据中所有观测值 $y_{ij}$ 与总均值 $\bar{y}$ 之间的总变异。 $$ SST = \sum_{i=1}^{k}\sum_{j=1}^{n_i}(y_{ij} - \bar{y})^2 $$ 其中，$k$ 是组别数，$n_i$ 是第 $i$ 组的样本量，$y_{ij}$ 是第 $i$ 组的第 $j$ 个观测值，$\bar{y}$ 是所有观测值的总均值。
* 组间平方和 (Sum of Squares Between Groups, SSB)：也称为处理平方和(Sum of Squares for Treatment, SSA)。它衡量每组的均值 $\bar{y}_i$ 与总均值 $\bar{y}$ 之间的差异，并由各组的样本量加权。 $$ SSB = \sum_{i=1}^{k}n_i(\bar{y}_i - \bar{y})^2 $$
* 组内平方和 (Sum of Squares Within Groups, SSW)：也称为误差平方和 (Sum of Squares for Error, SSE)。它衡量每个观测值 $y_{ij}$ 与其所在组的均值 $\bar{y}_i$ 之间的差异，是所有组内变异的总和。 $$ SSW = \sum_{i=1}^{k}\sum_{j=1}^{n_i}(y_{ij} - \bar{y}_i)^2 $$
## ANOVA的统计检验流程
以最常见的 单因素方差分析 (One-Way ANOVA) 为例，其检验流程如下：
第一步：建立假设
* {{{零假设}}} ($H_0$)：所有组的总体均值都相等。 $$ H_0: \mu_1 = \mu_2 = \dots = \mu_k $$ * {{{备择假设}}} ($H_a$)：并非所有组的总体均值都相等（即至少有两个组的均值不相等）。
第二步：计算检验统计量 (F-statistic)
为了比较组间变异和组内变异，我们不能直接使用SSB和SSW，因为它们的数值受样本量和组数的影响。我们需要将它们标准化为 均方 (Mean Square, MS)，即用平方和除以其对应的{{{自由度}}} (Degrees of Freedom, df)。
* 组间均方 (Mean Square Between, MSB)： $$ MSB = \frac{SSB}{df_{between}} = \frac{SSB}{k-1} $$ $df_{between} = k-1$ 是组间自由度。MSB可以看作是组间变异的无偏估计。
* 组内均方 (Mean Square Within, MSW)： $$ MSW = \frac{SSW}{df_{within}} = \frac{SSW}{N-k} $$ $df_{within} = N-k$ 是组内自由度，$N$ 是总样本量 ($N = \sum n_i$)。MSW可以看作是假设各组方差相等时，对组内变异（误差方差）的合并估计量 (pooled estimate)。
然后，我们计算 F检验统计量 (F-statistic)，它是MSB与MSW的比值： $$ F = \frac{MSB}{MSW} $$ F统计量的直观意义是：如果零假设为真（各组均值相等），那么组间变异应该仅仅是随机抽样造成的，其大小应与组内随机变异相似，因此F值会接近1。反之，如果备择假设为真，组间变异会显著大于组内变异，导致F值远大于1。
第三步：做出统计决策
计算出的F统计量服从一个具有分子自由度 $df_1 = k-1$ 和分母自由度 $df_2 = N-k$ 的 {{{F-分布}}} (F-distribution)。我们可以通过以下两种方式之一做出决策：
1. {{{p-值}}}法：计算在该F分布下，获得大于或等于我们所观测到的F值的概率，即p-值。如果p-值小于预先设定的{{{显著性水平}}} $\alpha$ (通常为0.05)，我们就拒绝零假设，认为各组均值存在显著差异。
2. 临界值法：根据显著性水平 $\alpha$ 和自由度 $(k-1, N-k)$，在F分布表中查找临界值 $F_{\alpha}$。如果计算出的F统计量大于该临界值，则拒绝零假设。
## ANOVA表格
ANOVA的计算结果通常以一个标准化的表格形式呈现，这使得结果清晰易读。
| 变异来源 (Source of Variation) | 平方和 (SS) | 自由度 (df) | 均方 (MS) | F统计量 | | :----------------------------- | :---------- | :---------- | :------------------- | :---------------------- | | 组间 (Between Groups) | SSB | $k-1$ | $MSB = \frac{SSB}{k-1}$ | $F = \frac{MSB}{MSW}$ | | 组内 (Within Groups/Error) | SSW | $N-k$ | $MSW = \frac{SSW}{N-k}$ | | | 总计 (Total) | SST | $N-1$ | | |
## ANOVA的基本假设
为了确保ANOVA结果的有效性和可靠性，需要满足以下三个基本假设：
1. 独立性 (Independence)：所有观测值都是相互独立的。这意味着一个观测值的大小不能影响另一个观测值。这个假设主要由实验设计和数据收集过程来保证。 2. 正态性 (Normality)：对于每一组，其{{{残差}}}（即观测值与组均值之差）都服从{{{正态分布}}}。在样本量较大时，由于{{{中心极限定理}}}，ANOVA对轻微偏离正态性具有一定的稳健性。可以通过{{{正态QQ图}}}或{{{Shapiro-Wilk检验}}}来检查。 3. 方差齐性 (Homogeneity of Variances / Homoscedasticity)：所有组的总体方差都是相等的，即 $\sigma_1^2 = \sigma_2^2 = \dots = \sigma_k^2$。这一假设可以通过{{{Levene检验}}}或{{{Bartlett检验}}}来验证。如果方差不齐，可以考虑进行数据转换或使用不要求此假设的检验方法（如Welch's ANOVA）。
## 事后检验 (Post-Hoc Tests)
当ANOVA检验结果为显著（即拒绝了$H_0$）时，我们只能得出结论：至少有两组的均值不相等。但我们并不知道具体是哪些组之间存在差异。为了解决这个问题，需要进行事后检验。
事后检验是在ANOVA拒绝零假设之后进行的成对比较，用以确定哪些特定的组均值之间存在统计学上的显著差异。直接对所有可能的组合进行多次{{{t-检验}}}是不恰当的，因为它会增加犯 {{{第一类错误}}} (Type I error) 的概率（即错误地拒绝了本为真的零假设）。这个问题被称为{{{多重比较}}}问题。
常用的事后检验方法包括：
* {{{Tukey's HSD (Honestly Significant Difference)}}}：当各组样本量相等时，这是最常用和推荐的方法之一，它控制了所有成对比较的总体错误率。 * {{{Bonferroni校正}}}：一种非常保守的方法，通过将显著性水平$\alpha$除以比较的次数来调整p-值。 * {{{Scheffé's method}}}：一种非常灵活但也很保守的方法，不仅适用于成对比较，还适用于组的任意线性组合的比较。
## ANOVA的类型扩展
除了最基本的单因素方差分析，ANOVA还有多种扩展形式，以适应更复杂的实验设计：
* {{{双因素方差分析}}} (Two-Way ANOVA)：同时分析两个分类自变量（因子）对一个连续因变量的影响。它不仅可以检验每个因子的{{{主效应}}} (main effect)，还可以检验两个因子之间的{{{交互效应}}} (interaction effect)，即一个因子的效应是否依赖于另一个因子的水平。 * {{{重复测量方差分析}}} (Repeated Measures ANOVA)：用于处理同一组受试者在不同时间点或不同条件下被多次测量的数据。 * {{{多元方差分析}}} (Multivariate Analysis of Variance, MANOVA)：当实验涉及多个因变量时使用，它同时检验各组在多个因变量上的均值向量是否相等。
## 与t检验的关系
当比较的组别数 $k=2$ 时，单因素方差分析在数学上等同于独立样本t检验。此时，两者得出的p-值完全相同，并且检验统计量之间存在以下关系： $$ F = t^2 $$ 因此，可以将ANOVA看作是t检验在多于两组情况下的推广。