# 夏皮罗-威尔克检验 (Shapiro-Wilk Test)
夏皮罗-威尔克检验 (Shapiro-Wilk Test) 是一种在 {{{频率学派统计}}} 中用于检验样本数据是否来自于一个 {{{正态分布}}} 总体的{{{假设检验}}}。它被广泛认为是检验正态性最有效的方法之一，特别是在样本量较小的情况下。该检验由 萨缪尔·夏皮罗 (Samuel Shapiro) 和 马丁·威尔克 (Martin Wilk) 于1965年提出。
## 检验的核心思想与假设
在许多统计分析方法（例如 {{{t检验}}}、{{{方差分析 (ANOVA)}}} 和 {{{线性回归}}})中，一个关键的假设是数据或模型中的{{{残差}}}服从正态分布。夏皮罗-威尔克检验提供了一种形式化的方法来验证这一假设。
该检验的基本假设如下：
* 零假设 ($H_0$)：样本数据来自于一个服从{{{正态分布}}}的总体。 * 备择假设 ($H_1$)：样本数据不来自于一个服从正态分布的总体。
检验的直观思想是比较样本数据的{{{顺序统计量}}}与一个理论上的正态分布数据的顺序统计量之间的相关性。如果样本数据确实来自于正态分布，那么其排序后的值与正态分布的期望顺序统计量之间应该有很强的线性关系。
## 检验统计量 $W$
夏皮罗-威尔克检验使用一个称为 $W$ 的统计量。其计算公式如下：
$$ W = \frac{\left( \sum_{i=1}^n a_i x_{(i)} \right)^2}{\sum_{i=1}^n (x_i - \bar{x})^2} $$
我们来分解这个公式的各个组成部分：
* $x_i$ 是原始的样本观测值。 * $x_{(i)}$ 是{{{顺序统计量}}}，即按从小到大的顺序排列后的样本数据 ($x_{(1)} \le x_{(2)} \le \dots \le x_{(n)}$)。 * $\bar{x} = \frac{1}{n} \sum_{i=1}^n x_i$ 是{{{样本均值}}}。 * $\sum_{i=1}^n (x_i - \bar{x})^2$ 是分母，代表了样本数据围绕其均值的总平方和，这与{{{样本方差}}}成正比。
* $a_i$ 是一组最优的、预先计算好的系数。这些系数的计算相当复杂，它们来自于一个{{{标准正态分布}}}样本的顺序统计量的期望值、方差和协方差。 $$ (a_1, a_2, \dots, a_n) = \frac{m^T V^{-1}}{\| m^T V^{-1} \|} $$ 其中 $m$ 是标准正态分布的顺序统计量的期望值向量，而 $V$ 是这些顺序统计量的{{{协方差矩阵}}}。在实际应用中，我们无需手动计算这些系数，它们会由统计软件提供，其值取决于样本量 $n$。这些系数的设计使得它们对数据尾部的偏差特别敏感。
### $W$ 统计量的解释
* 分子 $\left( \sum_{i=1}^n a_i x_{(i)} \right)^2$ 可以被看作是通过顺序统计量对总体方差的一个加权估计。如果数据是正态的，这个估计应该与常规的方差估计（即分母）非常接近。 * 分母 $\sum_{i=1}^n (x_i - \bar{x})^2$ 是数据的总变异性的度量。 * $W$ 统计量的值域为 $[0, 1]$。 * 如果样本数据完美地符合正态分布，那么分子和分母会非常接近，导致 $W$ 的值非常接近 1。 * 如果数据与正态分布有显著偏离（例如，存在严重的{{{偏度 (Skewness)}}}或{{{峰度 (Kurtosis)}}}），分子会相对小于分母，导致 $W$ 的值变小，趋向于 0。
因此，一个较小的 $W$ 值是反对零假设（即数据服从正态分布）的证据。
## 检验的执行与决策
在实践中，夏皮罗-威尔克检验通常通过以下步骤完成，并且绝大多数情况下依赖于统计软件（如R, Python, SPSS, Stata）。
1. 设定显著性水平 ($\alpha$)：这是我们愿意承担的{{{第一类错误}}}（即错误地拒绝了真实的零假设）的概率。通常选定为 0.05，有时也会根据研究的严格程度选择 0.10 或 0.01。 2. 计算 $W$ 统计量：软件会根据样本数据计算出 $W$ 的具体值。 3. 确定{{{p值}}} (p-value)：软件会根据计算出的 $W$ 值和样本量 $n$，通过查阅 $W$ 统计量的分布或使用近似算法，来计算出对应的p值。这个p值表示，如果零假设为真（即数据确实来自正态分布），获得当前样本结果或更极端结果的概率。 4. 做出统计决策： * 如果 $p \le \alpha$，我们拒绝零假设 ($H_0$)。结论是：有充分的统计证据表明数据不来自于一个正态分布的总体。 * 如果 $p > \alpha$，我们未能拒绝零假设 ($H_0$)。结论是：没有足够的统计证据来否定数据来自于正态分布总体的假设。
重要提示：未能拒绝 $H_0$ 并不意味着我们“证明”了数据是正态的。它仅仅意味着我们没有找到足够的证据来推翻正态性的假设。
## 优缺点与注意事项
### 优点 * 检验效力高：夏皮罗-威尔克检验通常被认为是所有正态性检验中{{{统计功效 (Power)}}}最高的检验之一，这意味着它在数据确实非正态时，能够更准确地检测出这种非正态性。
### 注意事项与局限性 * 对大样本过于敏感：当样本量非常大时（例如 $n > 1000$），即使数据与正态分布只有微小且在实践中无关紧要的偏离，夏皮罗-威尔克检验也可能给出一个非常小的p值，从而拒绝正态性假设。在这种情况下，依据{{{中心极限定理}}}，许多依赖正态性假设的统计过程（如对均值的推断）仍然是稳健的。因此，对于大样本，除了进行形式检验外，还必须结合图形方法，如 {{{Q-Q图}}} (Quantile-Quantile Plot) 或 {{{直方图}}}，来判断其偏离的实际严重程度。 * 对小样本的效力不足：当样本量非常小时（例如 $n < 20$），检验的效力可能不足以检测出真实的非正态性。也就是说，即使数据来自一个非正态分布，检验也可能因为证据不足而未能拒绝零假设。 * 仅适用于正态性检验：与{{{柯尔莫哥洛夫-斯米尔诺夫检验}}}（经过Lilliefors修正后）等可以用来检验其他分布的{{{拟合优度检验}}}不同，夏皮罗-威尔克检验专门用于检验正态性。
## 实践中的应用
在进行参数统计分析之前，研究者通常会使用夏皮罗-威尔克检验来评估正态性假设是否成立。如果检验结果拒绝了正态性假设，可以考虑以下几种处理方法： 1. 使用{{{非参数检验}}}：选择不依赖于分布假设的统计方法，例如使用{{{曼-惠特尼U检验}}}代替双样本t检验，或使用{{{克鲁斯卡尔-沃利斯检验}}}代替单因素方差分析。 2. 数据转换：对数据进行数学转换（如{{{对数转换}}}、平方根转换或{{{Box-Cox转换}}}），使其分布更接近正态分布，然后再应用参数检验。 3. 使用{{{稳健统计}}}方法：采用对偏离正态性不那么敏感的稳健估计方法。