F 检验

F 检验 (F-test)

F 检验 (F-test) 是一类 statistical hypothesis test 的总称，其核心在于通过比较两个或多个方差来评估统计模型或数据的变异来源。该检验的 test statistic 服从 F-distribution，这也是其名称的由来。F 检验是inferential statistics中一个极其重要和灵活的工具，广泛应用于Analysis of Variance (ANOVA)和regression model等领域。

从本质上讲，F 检验通过计算一个称为 F 统计量 (F-statistic) 的比率来工作。这个比率衡量的是两种不同来源的变异程度。如果由特定因素（如不同处理组或回归变量）引起的变异显著大于随机或不可解释的变异，F 统计量就会较大，从而为拒绝null hypothesis提供证据。

F 统计量与 F 分布

1. F 统计量的基本形式

F 统计量是一个由两个variances（或更准确地说是两个均方，Mean Squares）构成的比率。其最基本的形式是比较两个独立总体的样本方差：

其中：

• $S_1^2$ 是来自第一个总体的样本方差。
• $S_2^2$ 是来自第二个总体的样本方差。

按照惯例，为了使 F 值大于或等于 1，通常将较大的样本方差置于分子位置。这个比率的逻辑在于：如果两个总体的方差 ($\sigma_1^2$ 和 $\sigma_2^2$) 实际上是相等的（即零假设成立），那么它们的样本方差 $S_1^2$ 和 $S_2^2$ 也应该彼此接近，其比率 F 将接近 1。F 值离 1 越远，就越有理由怀疑两个总体方差不相等。

2. F 分布 (F-distribution)

在零假设成立的条件下，F 统计量服从 F 分布。F 分布具有以下关键特征：

• 两个自由度：F 分布的形态由两个参数完全确定：分子的degrees of freedom ($df_1$) 和分母的自由度 ($df_2$)。通常记为 $F(df_1, df_2)$。对于比较两个样本方差的检验，$df_1 = n_1 - 1$ 和 $df_2 = n_2 - 1$，其中 $n_1$ 和 $n_2$ 分别是两个样本的大小。
• 非负性与偏态：由于 F 统计量是方差之比（均为非负值），所以 F 分布的取值范围为 $[0, \infty)$。它通常是一个right-skewed distribution，随着自由度的增加，其形态逐渐趋向对称。
• 依赖于假设：F 分布描述的是在零假设为真时的抽样分布。我们利用这个分布来确定我们计算出的 F 统计量是否属于"小概率事件"。

F 检验的实施步骤

执行 F 检验通常遵循假设检验的标准流程：

1. 陈述假设 (State the Hypotheses)： \begin{itemize}
2. 零假设 ($H_0$)：通常陈述为"无差异"或"无效果"。例如，在比较方差时，$H_0: \sigma_1^2 = \sigma_2^2$；在方差分析中，$H_0: \mu_1 = \mu_2 = \ldots = \mu_k$。
3. 备择假设 ($H_a$ 或 $H_1$)：陈述我们试图寻找证据支持的结论。例如，$H_a: \sigma_1^2 \neq \sigma_2^2$ (双侧检验) 或 $H_a: \sigma_1^2 > \sigma_2^2$ (单侧检验)。 \end{itemize}
4. 设定显著性水平 (Set the Significance Level)： \begin{itemize}
5. 选择一个显著性水平alpha ($\alpha$)，它代表了我们愿意承担的犯Type I error（即错误地拒绝一个为真的零假设）的概率。通常设为 0.05, 0.01 或 0.10。 \end{itemize}
6. 计算 F 检验统计量 (Calculate the F-statistic)：根据具体的应用场景（如下文所述），计算 F 值。
7. 确定决策规则 (Determine the Decision Rule)： \begin{itemize}
8. critical value 法：利用 $\alpha$, $df_1$, 和 $df_2$ 查 F 分布表或使用软件计算出临界值 $F_{crit}$。如果计算出的 F 统计量大于临界值 ($F > F_{crit}$)，则拒绝 $H_0$。
9. p-value 法：计算出观察到的 F 统计量或更极端情况出现的概率，即 p 值。如果 $p < \alpha$，则拒绝 $H_0$。 \end{itemize}
10. 得出结论 (Draw a Conclusion)：根据决策结果，解释其在具体问题背景下的统计和现实意义。

F 检验的主要应用

F 检验的灵活性使其在多种统计分析中都扮演着核心角色。

1. 检验两总体方差的相等性

这是 F 检验最直接的应用，用于判断两个独立的正态总体的方差是否相等。这通常是某些其他统计检验（如假设方差相等的pooled t-test）的前提条件。

• 零假设: $H_0: \sigma_1^2 = \sigma_2^2$
• 备择假设: $H_a: \sigma_1^2 \neq \sigma_2^2$
• F 统计量: $F = \frac{S_1^2}{S_2^2}$，其中 $S_1^2 > S_2^2$ 以便进行右上单侧检验。

需要注意的是，这个检验对总体的normally distributed假设非常敏感。如果数据不满足正态性，推荐使用更稳健的方法，如Levene's test或Bartlett's test。

2. 方差分析 (Analysis of Variance, ANOVA)

在 ANOVA 中，F 检验被用来同时比较三个或更多组的均值是否相等。尽管 ANOVA 的目标是比较均值，但它通过分析方差来实现这一目标。

• 核心思想：比较"组间变异" (variation between groups) 和"组内变异" (variation within groups)。如果组间变异显著大于组内变异，则说明这些组的均值很可能不全相等。
• F 统计量: \[ F = \frac{\text{组间均方 (Mean Square Between, MSB)}}{\text{组内均方 (Mean Square Within, MSW)}} \] \begin{itemize}
• MSB 度量了各组样本均值与其总均值的差异，反映了自变量（分组因素）的影响。
• MSW 度量了每组内部数据的离散程度，反映了随机误差或不可解释的变异。

\item 假设:

• $H_0: \mu_1 = \mu_2 = \ldots = \mu_k$ （所有组的总体均值都相等）
• $H_a$: 至少有一个组的总体均值与其他组不同。

\end{itemize}

3. 回归模型的整体显著性检验

在multiple linear regression中，F 检验用于评估整个模型的statistical significance。它检验的是所有independent variables联合起来是否能显著解释dependent variable的变异。

• 假设: \begin{itemize}
• $H_0: \beta_1 = \beta_2 = \ldots = \beta_p = 0$ （所有自变量的系数都为零，即模型无效）
• $H_a$: 至少有一个 $\beta_j \neq 0$ （模型至少有一个自变量是有效的）

\item F 统计量:

其中，$SSR$ 是回归平方和，$SSE$ 是残差平方和，$p$ 是自变量的个数，$n$ 是样本量。这个 F 值也可以通过模型的coefficient of determination ($R^2$) 计算：

一个显著的 F 检验结果（即拒绝 $H_0$）表明该回归模型作为一个整体，具有统计上的预测价值。 \end{itemize}

4. 检验线性约束 (Test of Linear Restrictions)

在回归分析中，F 检验还可以用于检验关于模型系数的更复杂的线性假设。例如，检验模型中某几个系数是否同时为零，或者某几个系数是否相等。著名的Chow test就是 F 检验的一个特例，用于检验时间序列数据中是否存在structural break。

F 检验的假设条件

为了确保 F 检验结果的有效性，需要满足一些基本假设：

1. 独立性：样本必须是随机抽取的，且各观测值之间相互独立。
2. 正态性：从中抽取样本的总体应服从正态分布。对于 ANOVA 和回归分析中的 F 检验，由于Central Limit Theorem，当样本量较大时，该检验对轻微偏离正态性的情况具有一定的稳健性。然而，用于检验方差相等性的 F 检验对正态性非常敏感。
3. 方差齐性 (Homoscedasticity)：在 ANOVA 中，假设所有组的总体方差相等。在回归分析中，假设误差项的方差为常数。

总之，F 检验是一个功能强大的统计工具，其核心逻辑始终是比较不同来源的方差，以判断某种模式或效应是否仅仅是随机波动的结果。理解其在不同场景下的具体构建方式和前提假设，是正确应用和解读 F 检验的关键。