significance level

显著性水平 (Significance Level)

显著性水平（Significance Level），通常记为 $\alpha$，是统计假设检验中最核心的概念之一。它既是检验程序的决策门槛，也是控制错误推断风险的关键参数，在经济学、社会科学和自然科学中有广泛应用。

定义与基本逻辑

显著性水平 $\alpha$ 定义为：在原假设 $H_0$ 实际为真的条件下，检验统计量落入拒绝域、从而错误地拒绝 $H_0$ 的概率，即犯第一类错误（Type I Error）的概率：

在 Neyman-Pearson 假设检验框架中，$\alpha$ 是研究者在观测数据之前预先设定的、愿意承受的第一类错误风险上限。检验的基本逻辑是：控制第一类错误于一个"小概率"水平 $\alpha$ 之下，在此约束下最大化检验的功效（即最小化第二类错误 $\beta$ 的概率）。这一框架体现了决策理论中"谨慎优先"的原则——除非数据提供了足够强的反对证据，否则不轻易推翻原假设。

常见的显著性水平取值及其适用场景如下：

• $\alpha = 0.01$（1\%）：高度严格标准，要求极强证据才能拒绝原假设。适用于第一类错误代价极高的场景，如药物安全性审批、反垄断诉讼中的损害认定等。
• $\alpha = 0.05$（5\%）：社会科学和经济学中最常用的显著性水平，由 Ronald Fisher 在20世纪初推广。Fisher 在1925年的《Statistical Methods for Research Workers》中首次提出以5\%作为"值得关注"的临界线，此后逐渐固化为实证研究的"默认标准"。
• $\alpha = 0.10$（10\%）：宽松标准，常用于探索性研究、小样本分析或检验功效不足的初步研究中，但需明确标注其探索性质，避免过度解读。

与 p 值的区别与联系

$\alpha$ 与 p值（p-value）是两个密切相关但含义截然不同的概念，混淆二者是应用统计中最常见的误解之一：

• $\alpha$ 是事前设定的决策阈值，在观测数据之前即已确定，反映研究者对第一类错误的主观容忍度。
• $p$ 值是由数据计算得出的随机量——在原假设为真时，观察到当前检验统计量或更极端值的概率。它不是"$H_0$ 为真的概率"，也不是"效应存在的概率"。

标准的决策规则为：若 $p < \alpha$，则拒绝 $H_0$；若 $p \geq \alpha$，则不拒绝 $H_0$。这一框架将连续的证据强度（$p$ 值）简化为二元决策（拒绝或不拒绝），虽便于操作但也饱受争议。美国统计协会（ASA）在2016年里程碑式的声明中明确指出，$p$ 值不应被机械地用作发表文章的"通行证"，单一阈值 $\alpha = 0.05$ 更非放之四海而皆准的普适标准，研究结论应建立在证据的综合考量之上，而非对某个阈值的跨越与否。

错误类型与决策权衡

在假设检验中，真实世界的状态与研究者做出的决策相互交叉，构成四种可能的结果：

1. $H_0$ 为真且不拒绝 $H_0$：正确决策，概率为 $1 - \alpha$，即检验的置信水平（Confidence Level）。
2. $H_0$ 为真但拒绝 $H_0$：第一类错误（Type I Error），概率为 $\alpha$，即"无中生有"或"假阳性"。
3. $H_0$ 为假且不拒绝 $H_0$：第二类错误（Type II Error），概率为 $\beta$，即"有而未见"或"假阴性"。
4. $H_0$ 为假且拒绝 $H_0$：正确决策，概率为 $1 - \beta$，称为检验功效（Statistical Power）。

$\alpha$ 与 $\beta$ 之间存在根本性的权衡关系：在样本量 $n$ 固定的前提下，降低 $\alpha$（使拒绝域更窄、拒绝标准更严格）必然导致 $\beta$ 上升、检验功效下降。研究者需根据两类错误的相对成本来合理设定 $\alpha$。例如，在药品安全检验中，第一类错误（批准一种无效甚至有害的新药进入市场）的代价极为高昂，故应采用较小的 $\alpha$（如 0.01 甚至 0.001）；而在社会科学初步筛选或特征选择阶段，第二类错误（遗漏潜在有效的政策干预或经济机制）的代价可能更大，此时 $\alpha$ 可适当放宽至 0.10 或 0.15。

多重检验与显著性校正

当同时进行 $m$ 个独立的假设检验时，出现假阳性的风险将系统性上升。即使所有原假设均为真，至少产生一次错误拒绝的概率——即族系错误率（Family-Wise Error Rate, FWER）——将远高于单个检验的 $\alpha$：

例如，当 $\alpha = 0.05$ 且 $m = 20$ 时，FWER 约为 0.64——即在20个本来完全无效的变量中，有近64\%的概率至少"发现"一个"显著"的结果。这一问题在大规模多重比较中尤为突出，如基因组学中的全基因组关联研究（GWAS）或经济学中含大量交互项的异质性分析。

为应对多重检验膨胀，Bonferroni校正 将每个单独检验的显著性水平调整为 $\alpha / m$，从而将 FWER 控制在名义 $\alpha$ 水平之下。然而，Bonferroni 方法极为保守，会大幅降低检验功效。作为替代，Benjamini-Hochberg 方法转而控制错误发现率（False Discovery Rate, FDR），即被拒绝的原假设中错误拒绝的期望比例，在保留更高功效的同时控制虚假发现的整体比率，因而在生物医学和微观计量的大规模异质性分析中更为常用。

争议与反思

近年来，对显著性水平和零假设显著性检验（NHST）的批评日益深入，经济学界也在积极反思：

• 任意阈值问题：$\alpha = 0.05$ 的选择缺乏严格的理论依据，很大程度上是历史偶然与学术惯例的产物。Fisher 本人从未主张机械地使用 0.05 这一单一阈值，而是鼓励研究者结合具体情境灵活判断。
• 发表偏倚与 p-hacking：在"$p < 0.05$ 才能发表"的激励结构下，研究者可能通过选择性报告因变量和协变量、数据窥探（Data Snooping）、灵活终止样本收集等手段将 $p$ 值"操纵"至阈值以下。这导致已发表文献中的假阳性比例远超名义 $\alpha$ 水平，构成了可复现性危机（Replication Crisis）的重要来源。
• 统计显著不等同于经济显著：在大样本条件下，即便效应量微乎其微、毫无实际政策意义，其 $p$ 值也可能远小于 0.05。实证研究应同时报告点估计、效应量（Effect Size）、置信区间和经济含义，而非仅关注 $p < \alpha$ 的二元结果。

计量经济学中的实践建议

在实证经济学中，显著性水平的选择与报告方式直接影响研究结论的可信度和政策建议的质量。标准做法是使用星号标记系统（* $p < 0.10$, $p < 0.05$, * $p < 0.01$）在回归表格中标注各水平的统计显著结果。然而，Angrist 和 Pischke 在《Mostly Harmless Econometrics》中强调，研究者应超越单纯的星号追逐，全面报告标准误（含异方差稳健和聚类稳健标准误）、置信区间以及效应的经济显著性，并优先关注识别策略（如工具变量的排他性、断点回归的连续性假定）的可信性而非仅依赖统计显著性本身。

此外，部分经济学期刊已开始推行预分析计划（Pre-Analysis Plan, PAP）和注册报告（Registered Report），要求研究者在数据采集和分析之前明确指定 $\alpha$ 水平、检验方向（单侧/双侧）以及多重检验校正方法，从而减少事后数据挖掘的空间，提升实证结论的可复现性和政策推断的可靠性。