模型的整体显著性检验

模型的整体显著性检验 (Overall Significance Test of a Model)

模型的整体显著性检验，通常指多元线性回归模型的F检验 (F-test for Overall Significance)，是一种假设检验，旨在判断一个包含了多个自变量的回归模型是否在整体上具有统计学意义。换言之，它检验的是模型中所有的自变量作为一个整体，是否能够显著地解释因变量的变异，相比于一个只包含截距项（即不含任何自变量）的零模型。

此检验的核心问题是：我们所构建的回归模型，是否比一个最简单的基准模型（即仅使用因变量的样本均值进行预测）提供了更多的信息？

检验的逻辑与假设

在多元线性回归中，我们有一个模型：

其中：

• $Y$ 是因变量。
• $X_1, X_2, \dots, X_k$ 是 $k$ 个自变量。
• $\beta_0$ 是截距项。
• $\beta_1, \beta_2, \dots, \beta_k$ 是各自变量的回归系数，代表了该自变量对因变量的影响。
• $\varepsilon$ 是误差项。

整体显著性检验的目的是检验所有自变量的系数是否同时为零。其原假设和备择假设如下：

• 原假设 ($H_0$)：模型中所有自变量的系数都等于零。 \[ H_0: \beta_1 = \beta_2 = \dots = \beta_k = 0 \] 如果原假设为真，意味着所有自变量 $X_1, \dots, X_k$ 都对因变量 $Y$ 没有任何线性解释能力。该模型退化为一个只包含截距的零模型 $Y = \beta_0 + \varepsilon$，此时对 $Y$ 的最佳预测值就是其样本均值 $\bar{Y}$。
• 备择假设 ($H_1$)：至少有一个自变量的系数不等于零。 \[ H_1: \text{至少存在一个 } \beta_j \neq 0 \text{, 其中 } j \in \{1, 2, \dots, k\} \] 如果备择假设为真，意味着至少有一个自变量对解释因变量 $Y$ 的变异是有用的，因此整个模型具有统计学意义。

注意：F检验告诉我们模型是否"整体有效"，但它不能指出是哪一个或哪几个特定的自变量是有效的。要判断单个变量的显著性，需要查看各自变量系数的t检验。

F统计量的构建

F检验是通过比较两个模型的拟合优度来实现的：

1. 无约束模型 (Unrestricted Model)：即我们构建的完整回归模型。
2. 约束模型 (Restricted Model)：即原假设 $H_0$ 成立时的模型，也就是只包含截距项的零模型。

F统计量的核心思想是衡量从约束模型到无约束模型（即加入所有自变量后），模型解释能力的提升是否"显著"。其计算公式是基于方差分析 (ANOVA) 的思想，利用平方和来构建的。

首先，定义几个关键的平方和：

• 总平方和 (Sum of Squares Total, SST)：因变量 $Y$ 的总变异，衡量的是 $Y$ 的观测值与其样本均值 $\bar{Y}$ 的离差平方和。它代表了约束模型（零模型）无法解释的总误差。 \[ SST = \sum_{i=1}^{n} (Y_i - \bar{Y})^2 \]
• 回归平方和 (Sum of Squares Regression, SSR)：模型能够解释的 $Y$ 的变异部分，衡量的是模型的预测值 $\hat{Y}$ 与 $Y$ 的样本均值 $\bar{Y}$ 的离差平方和。 \[ SSR = \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2 \]
• 残差平方和 (Sum of Squares Error, SSE)：也称误差平方和，是模型未能解释的 $Y$ 的变异部分，衡量的是 $Y$ 的观测值 $Y_i$ 与其预测值 $\hat{Y}_i$ 的离差平方和。 \[ SSE = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 = \sum_{i=1}^{n} e_i^2 \]

三者关系为：$SST = SSR + SSE$。

F统计量的计算公式为：

其中：

• $k$ 是自变量的个数，也是 $SSR$ 的自由度。
• $n$ 是样本量。
• $n-k-1$ 是 $SSE$ 的自由度。
• $MSR = SSR/k$ 称为 均方回归 (Mean Square Regression)。
• $MSE = SSE/(n-k-1)$ 称为 均方误差 (Mean Square Error)，它也是残差方差 $\sigma^2$ 的一个无偏估计量。

F统计量与决定系数 ($R^2$) 的关系

F统计量也可以通过模型的决定系数 ($R^2$) 来计算。$R^2 = SSR/SST$ 衡量了模型解释的因变量变异的百分比。

这个公式直观地显示了F统计量与模型拟合优度（$R^2$）之间的关系：

• 当模型的解释能力越强（$R^2$ 越大），F值就越大。
• 在 $R^2$ 和 $n$ 不变的情况下，模型中的自变量越多（$k$ 越大），F值会变小。这体现了对模型复杂度的"惩罚"。

决策规则

计算出的F统计量服从一个具有分子自由度 $df_1 = k$ 和分母自由度 $df_2 = n-k-1$ 的F分布。我们可以通过两种方法来判断是否拒绝原假设 $H_0$。

1. 临界值法 (Critical Value Approach) \begin{itemize}
2. 首先确定一个显著性水平 $\alpha$（例如 0.05, 0.01）。
3. 查找F分布表中对应于 $df_1=k$，$df_2=n-k-1$ 和显著性水平 $\alpha$ 的临界值 $F_{\alpha, k, n-k-1}$。
4. 比较计算出的F统计量与临界值： \begin{itemize}
5. 如果 $F_{calculated} > F_{\alpha, k, n-k-1}$，则拒绝原假设 $H_0$。
6. 如果 $F_{calculated} \le F_{\alpha, k, n-k-1}$，则不拒绝原假设 $H_0$。 \end{itemize} \end{itemize}
7. P值法 (P-value Approach) \begin{itemize}
8. 计算与F统计量相对应的p值。这个p值表示在原假设为真的情况下，观测到当前F值或比它更极端的值的概率。
9. 比较p值与显著性水平 $\alpha$： \begin{itemize}
10. 如果 $p < \alpha$，则拒绝原假设 $H_0$。
11. 如果 $p \ge \alpha$，则不拒绝原假设 $H_0$。 \end{itemize} \end{itemize}

在现代统计软件（如R, Python, Stata）的输出中，通常会直接报告F统计量及其对应的p值，这使得p值法成为实践中最常用的方法。

结果解读

• 拒绝 $H_0$（即 F检验显著）：这意味着有充分的统计证据表明，模型中的自变量作为一个整体，能够显著地解释因变量的变异。模型具有整体显著性。这是我们通常希望看到的结果，它确认了我们构建的模型至少在整体上是有用的。
• 不拒绝 $H_0$（即 F检验不显著）：这意味着没有足够的证据证明自变量整体上与因变量有线性关系。该模型的解释能力与一个只用均值来预测的模型相比没有显著提升。在这种情况下，这个回归模型被认为是无效或无用的，需要重新考虑模型的设定，例如更换变量或模型形式。

F检验与t检验的关系

• 整体与个体：F检验关注的是所有自变量的"整体"效应，而t检验关注的是"单个"自变量的效应。
• 可能出现的情况： \begin{enumerate}
• F检验显著，但部分t检验不显著：这是最常见的情况。模型整体上有效，但其中某些自变量可能与因变量关系不大，或由于多重共线性导致其系数的估计不精确。
• F检验显著，但所有t检验都不显著：这种情况虽然少见，但一旦发生，通常是严重多重共线性的强烈信号。每个变量单独看似乎不重要，但它们联合起来却能很好地解释因变量。
• F检验不显著：此时通常大多数（或所有）t检验也都不显著。模型整体和个体层面都缺乏解释力。 \end{enumerate}
• 特殊情况：在简单线性回归（即只有一个自变量，$k=1$）中，F检验的结果与该自变量系数的t检验结果是等价的。具体来说，$F = t^2$，并且它们的p值完全相同。