# ANOVA (Analysis of Variance)
ANOVA，全称为方差分析(Analysis of Variance)，是由{{{统计学}}}家[[罗纳德·费雪]] (Ronald Fisher) 发展起来的一种强大的{{{统计推断}}}方法。尽管其名称中包含“方差”，但ANOVA的主要目的并非分析方差本身，而是通过分析数据中不同来源的{{{方差}}}，来比较两个或更多个组（或处理）的{{{平均数}}}是否存在显著差异。
从本质上讲，ANOVA是{{{t检验}}} (t-test) 的一种扩展。当需要比较两个组的平均数时，可以使用t检验；而当涉及三个或更多个组时，ANOVA就成为了标准工具。如果对多个组两两进行t检验，会显著增加犯{{{第一类错误}}}（即错误地拒绝了为真的{{{零假设}}}）的概率，而ANOVA通过一次性检验所有组的平均数，有效地控制了整体的错误率。
## ANOVA的核心逻辑：方差分解
ANOVA最核心且反直觉的思想在于，它通过方差来检验平均数。其基本逻辑是：将数据的总变异（Total Variation）分解为不同来源的变异。对于最简单的单因素方差分析 (One-Way ANOVA)，总变异被分解为两部分：
1. 组间变异 (Between-Group Variation)：由不同组别的差异所引起的变异。这部分变异反映了自变量（或称为“因素”，Factor）对因变量的影响。如果各组的平均数相差很大，那么组间变异就会很大。
2. 组内变异 (Within-Group Variation)：也称为误差变异 (Error Variation)，是每个组内部数据点的随机波动。这部分变异被认为是{{{抽样误差}}}或不可控因素导致的，是“噪音”的度量。
ANOVA通过比较组间变异和组内变异的大小来做出判断。如果组间变异显著大于组内变异，我们就有理由相信这种差异不仅仅是随机波动造成的，而是因为各组的总体平均数确实不同。
这个分解过程在数学上通过平方和 (Sum of Squares, SS) 来实现：
$$ SST = SSB + SSW $$
其中： * $SST$ (Total Sum of Squares)：总平方和，度量了数据中所有观测值相对于总平均值的总变异。 * $SSB$ (Sum of Squares Between groups)：组间平方和，度量了各组平均值相对于总平均值的变异，反映了组间差异。 * $SSW$ (Sum of Squares Within groups)：组内平方和，度量了每组内部的观测值相对于其各自组平均值的变异，反映了随机误差。
## ANOVA的假设检验框架
与所有{{{假设检验}}}方法一样，ANOVA也遵循一个标准的框架。
一. 设立假设
假设我们有 $k$ 个组，其总体平均数分别为 $\mu_1, \mu_2, \ldots, \mu_k$。
* 零假设 ($H_0$)：所有组的总体平均数都相等。 $$ H_0: \mu_1 = \mu_2 = \dots = \mu_k $$ 这意味着自变量对因变量没有影响。
* 备择假设 ($H_a$)：至少有一个组的总体平均数与其他组不同。 $$ H_a: \text{至少存在一对 } (i, j) \text{ 使得 } \mu_i \neq \mu_j $$ 注意：拒绝零假设仅意味着各组平均数不全相等，但并不指明是哪些组之间存在差异。
二. 计算检验统计量 (F-statistic)
为了比较组间变异和组内变异，我们不能直接使用 $SSB$ 和 $SSW$，因为它们的数值受到样本量的影响。我们需要将它们转换为不受样本量影响的“平均”变异，即均方 (Mean Square, MS)。
* 组间均方 (Mean Square Between, MSB)： $$ MSB = \frac{SSB}{df_B} = \frac{SSB}{k-1} $$ 这里的 $df_B = k-1$ 是组间{{{自由度}}} (Degrees of Freedom)。
* 组内均方 (Mean Square Within, MSW)： $$ MSW = \frac{SSW}{df_W} = \frac{SSW}{N-k} $$ 这里的 $df_W = N-k$ 是组内自由度，其中 $N$ 是总观测值的数量。
MSW是所有组内方差的加权平均，因此它被认为是总体方差 $\sigma^2$ 的一个良好{{{估计量}}}。
最终，我们计算出ANOVA的检验统计量——F统计量 (F-statistic)：
$$ F = \frac{\text{组间均方}}{\text{组内均方}} = \frac{MSB}{MSW} $$
F统计量的直观理解： * 如果零假设为真（即所有组的平均数都相等），那么组间的变异应该仅仅来源于随机抽样误差，与组内的随机变异类似。因此，$MSB$ 和 $MSW$ 的值会很接近，F统计量的值会趋近于1。 * 如果备择假设为真（即至少有一组的平均数不同），那么组间变异除了随机误差外，还包含了由分组带来的系统性差异。这将导致 $MSB$ 明显大于 $MSW$，从而F统计量会远大于1。
三. 做出决策
计算出的F统计量遵循一个特定的{{{F分布}}}。该分布由两个自由度参数决定，即分子自由度 $df_1 = k-1$ 和分母自由度 $df_2 = N-k$。
我们可以通过将计算出的F值与给定{{{显著性水平}}} $\alpha$（如0.05）下的临界F值进行比较，或者更常用地，通过计算与F值相关联的{{{p值}}} (p-value) 来做出决策。
* 如果 $p \le \alpha$，我们拒绝零假设 $H_0$，得出结论：各组的平均数存在统计学上的显著差异。 * 如果 $p > \alpha$，我们没有足够的证据拒绝 $H_0$，不能认为各组平均数之间存在差异。
## ANOVA结果汇总表
ANOVA的计算结果通常以一个标准化的表格形式呈现，这使得结果的解读非常清晰：
| 变异来源 (Source) | 平方和 (SS) | 自由度 (df) | 均方 (MS) | F统计量 (F) | p值 (p-value) | | -------------------- | -----------|-------------|-------------|-------------|---------------| | 组间 (Between) | $SSB$ | $k-1$ | $MSB$ | $F$ | $p$ | | 组内/误差 (Within/Error) | $SSW$ | $N-k$ | $MSW$ | | | | 总计 (Total) | $SST$ | $N-1$ | | | |
## ANOVA的基本假设
为了确保ANOVA结果的有效性和可靠性，数据需要满足以下三个关键假设：
1. 独立性 (Independence)：所有观测值都是相互独立的。这意味着一个观测值不应影响到另一个观测值。这通常通过合理的{{{实验设计}}}和随机抽样来保证。
2. 正态性 (Normality)：每个组的{{{残差}}} (residuals) 都应服从{{{正态分布}}}。在实践中，只要数据没有严重偏态，ANOVA对偏离正态性具有一定的稳健性。可以通过{{{Q-Q图}}}或{{{Shapiro-Wilk检验}}}来检查。
3. 方差齐性 (Homoscedasticity)：所有组的总体方差应相等。这个假设也称为同方差性。如果各组的方差差异很大（{{{异方差性}}}），ANOVA的结果可能会产生误导。可以通过{{{Levene检验}}}或{{{Bartlett检验}}}来评估方差齐性。
## ANOVA的类型
根据研究设计中自变量（因素）的数量和性质，ANOVA可以分为多种类型：
* 单因素方差分析 (One-Way ANOVA)：只有一个分类自变量。例如，比较三种不同教学方法对学生成绩的影响。 * 双因素方差分析 (Two-Way ANOVA)：有两个分类自变量。例如，同时研究教学方法和学生性别对成绩的影响。双因素ANOVA不仅可以检验每个自变量的主效应 (Main Effect)，还可以检验两个自变量之间的{{{交互效应}}} (Interaction Effect)。 * 重复测量方差分析 (Repeated Measures ANOVA)：当同一组被试在不同条件下或不同时间点被重复测量时使用。 * 多变量方差分析 (MANOVA)：当研究中涉及多个因变量时使用，它同时比较各组在多个因变量上的平均数向量。
## 事后检验 (Post-Hoc Tests)
当ANOVA检验的结果是显著的（即拒绝$H_0$），我们只知道“至少有一组平均数不同”，但并不知道具体是哪些组之间存在差异。为了找出这些具体差异，需要进行事后检验。
事后检验本质上是一系列{{{成对比较}}}，但它们通过特定的方法调整了p值，以控制在多次比较中累积的{{{第一类错误}}}率。常用的事后检验方法包括：
* {{{Tukey's HSD (Honestly Significant Difference) test}}}：最常用的事后检验之一，在各组样本量相等时表现良好。 * {{{Bonferroni校正}}}：一种较为保守的方法，通过将显著性水平$\alpha$除以比较的次数来调整，容易导致犯{{{第二类错误}}}。 * {{{Scheffé's test}}}：一种非常灵活但非常保守的检验，可以用于检验更复杂的组间比较（例如，组1和组2的平均与组3的比较）。