不同检验方法的假设条件与选择

假设检验：检验方法的假设条件与选择

在统计学和计量经济学中，假设检验 (Hypothesis Testing) 是利用样本数据来推断总体特征的核心工具。然而，任何一个统计检验方法都不是普适的。每种方法都建立在一系列特定的假设条件之上。如果这些假设不被满足，检验的结果（如p值）可能会产生误导，导致错误的科学结论。因此，正确选择检验方法是进行严谨数据分析的先决条件。

本讲义旨在阐述不同统计检验方法的内在假设，并提供一个选择适当检验方法的决策框架。

一、为什么假设条件至关重要？

一个统计检验方法可以被视为一个数学模型，它用以量化样本证据反对原假设 ($H_0$) 的强度。这个模型的有效性完全取决于其基础假设是否与数据的真实特性相符。

1. 保证检验统计量的分布准确性：许多检验（如t检验）的临界值和p值是基于检验统计量在原假设为真时服从某一特定概率分布（如t分布、F分布）推导出来的。如果数据不满足该检验的假设（例如，数据不是来自正态分布），那么检验统计量的实际抽样分布就可能偏离理论分布，从而导致计算出的p值不准确。
2. 控制错误率：假设检验涉及两类错误： \begin{itemize}
3. 第一类错误 ($\alpha$)：原假设为真，但我们拒绝了它（弃真）。
4. 第二类错误 ($\beta$)：原假设为假，但我们未能拒绝它（取伪）。 \end{itemize} 当检验的假设条件被满足时，我们才能确保将第一类错误的概率实际控制在预设的显著性水平 $\alpha$ 之下。假设条件被违反时，真实的 $\alpha$ 值可能会远高于设定值。
5. 保证统计功效：统计功效 (Statistical Power)，即 $1-\beta$，代表了当备择假设为真时，我们能够正确拒绝原假设的概率。通常来说，在假设条件被满足的前提下，参数检验比非参数检验具有更高的统计功效。但如果假设被严重违反，参数检验的功效反而可能降低，其结论也不再可靠。

二、核心分类：参数检验与非参数检验

统计检验方法最基本的一个分类是参数检验和非参数检验，它们对数据分布的假设有着本质区别。

2.1 参数检验 (Parametric Tests)

参数检验指的是一类假设数据来自于具有特定参数的概率分布（最常见的是正态分布）的统计方法。

• 核心思想：通过对样本统计量（如样本均值、样本方差）的计算，来推断总体的参数（如总体均值 $\mu$、总体方差 $\sigma^2$）。
• 常见假设： \begin{enumerate}
• 正态性 (Normality)：数据来自于一个正态分布的总体。这是许多检验（如t检验、方差分析 (ANOVA)）的核心假设。
• 方差齐性 (Homogeneity of Variance / Homoscedasticity)：当比较两个或多个组时，假设这些组的总体方差是相等的。
• 独立性 (Independence)：样本内的观测值是相互独立的。这通常由良好的抽样和实验设计来保证。 \end{enumerate}
• 优点：当假设条件被满足时，参数检验通常具有更高的统计功效。
• 缺点：对假设条件的违反较为敏感，特别是小样本情况下。
• 典型例子：t检验，方差分析 (ANOVA)，皮尔逊相关系数 (Pearson Correlation Coefficient)。

2.2 非参数检验 (Non-parametric Tests)

非参数检验，也称为分布自由检验 (Distribution-free Tests)，是一类不依赖于总体分布具体形式的统计方法。

• 核心思想：这些方法通常不直接处理原始数据值，而是处理它们的排序（ranks）或符号（signs）。例如，它们可能检验一个组的中位数是否高于另一个组，而不是检验均值。
• 常见假设：虽然不要求正态分布，但非参数检验仍然有一些较弱的假设，例如观测值的独立性，以及在比较多组时，假设各组分布的形状相似。
• 优点： \begin{itemize}
• 适用范围广，可用于非正态数据、有序数据 (Ordinal Data)。
• 对数据中的异常值 (Outliers) 不敏感。
• 在小样本且分布未知时是更稳健的选择。

\item 缺点：当参数检验的假设被满足时，非参数检验的统计功效通常较低。 \item 典型例子：曼-惠特尼U检验 (Mann-Whitney U Test)，克鲁斯卡尔-沃利斯检验 (Kruskal-Wallis Test)，斯皮尔曼等级相关系数 (Spearman's Rank Correlation)。 \end{itemize}

三、如何选择合适的检验方法：一个决策框架

选择正确的检验方法需要系统地考虑以下几个问题：

1. 研究目的：你是想比较组间差异，还是想探究变量间的关系？
2. 数据类型：你的因变量和自变量是什么测量尺度（名义、有序、等距、等比）？
3. 样本特征：你有多少个组？样本是独立的还是相关的（配对样本）？
4. 是否满足参数检验的假设：数据是否满足正态性和方差齐性？

下表提供了一个常见研究场景下的决策指南：

\begin{tabular}{|p{3cm}|p{2.5cm}|p{2.5cm}|p{3cm}|p{2.5cm}|p{3cm}|} \hline 研究目的 \& 组数/变量数 \& 样本关系 \& 参数检验方法（若满足假设） \& 关键假设 \& 非参数替代方法（若不满足假设） \\ \hline 比较均值/中位数 \& 单个样本与已知值比较 \& N/A \& 单样本t检验 (One-Sample $t$-test) \& 正态性 \& 威尔科克森符号秩检验 (Wilcoxon Signed-Rank Test) \\ \hline 比较均值/中位数 \& 两组 \& 独立样本 \& 独立样本t检验 (Independent Samples $t$-test) \& 正态性，方差齐性 \& 曼-惠特尼U检验 (Mann-Whitney U Test) \\ \hline 比较均值/中位数 \& 两组 \& 配对样本或重复测量 \& 配对样本t检验 (Paired Samples $t$-test) \& 配对差值呈正态分布 \& 威尔科克森符号秩检验 (Wilcoxon Signed-Rank Test) \\ \hline 比较均值/中位数 \& 三组及以上 \& 独立样本 \& 单因素方差分析 (One-Way ANOVA) \& 正态性，方差齐性 \& 克鲁斯卡尔-沃利斯检验 (Kruskal-Wallis Test) \\ \hline 比较均值/中位数 \& 三组及以上 \& 配对样本或重复测量 \& 重复测量方差分析 (Repeated Measures ANOVA) \& 正态性，球形度 (Sphericity) \& 弗里德曼检验 (Friedman Test) \\ \hline 检验两个分类变量的关系 \& 两个分类变量 \& 独立样本 \& 卡方独立性检验 ($\chi^2$ Test of Independence) \& 期望频数足够大 \& 费希尔精确检验 (Fisher's Exact Test)（用于小样本） \\ \hline 检验两个连续变量的关系 \& 两个连续变量 \& N/A \& 皮尔逊相关系数 (Pearson Correlation) \& 变量呈二元正态分布，线性关系 \& 斯皮尔曼等级相关系数 (Spearman's Rank Correlation) \\ \hline \end{tabular}

四、如何检验假设条件

在选择参数检验之前，必须先对数据进行检验，以确定其是否满足关键假设。

4.1 检验正态性 (Normality)

• 图形方法： \begin{itemize}
• 直方图 (Histogram)：直观观察数据分布形状是否近似钟形。
• Q-Q图 (Quantile-Quantile Plot)：如果数据点大致落在一条直线上，则可以认为数据近似服从正态分布。这是非常常用且可靠的方法。

\item 统计检验方法：

• 夏皮罗-威尔克检验 (Shapiro-Wilk Test)：非常流行的正态性检验，在小样本下表现良好。
• 科尔莫戈罗夫-斯米尔诺夫检验 (Kolmogorov-Smirnov Test)：也可用于检验正态性，但通常推荐使用专门化的Shapiro-Wilk检验。
• 注意：在大样本量（如 $n > 1000$）下，这些检验会变得过于敏感，即使是与正态分布极小的偏离也会导致显著的结果 ($p < 0.05$)。此时，图形方法和中心极限定理的考量更为重要。

\end{itemize}

4.2 检验方差齐性 (Homogeneity of Variance)

• Levene检验 (Levene's Test)：这是最常用和最稳健的方差齐性检验方法，它对数据是否服从正态分布不敏感。
• Bartlett检验 (Bartlett's Test)：另一种检验方法，但它要求数据必须服从正态分布，因此使用没有Levene检验广泛。
• 解读：对于这些检验，其原假设 ($H_0$) 是"各组方差相等"。因此，一个不显著的结果（如 $p > 0.05$）是我们所期望的，它支持了使用方差分析等方法的前提。如果检验结果显著，则意味着违反了方差齐性假设。在这种情况下，可以考虑使用Welch's ANOVA或转而使用非参数检验。