KNOWECON WIKI

ARTICLE

重抽样

重抽样：从数据中"无中生有"的统计艺术 重抽样（Resampling）是一类基于计算机的统计推断方法的核心总称，其基本思想是从观测数据中反复抽取样本，通过大量重抽样的结果来评估统计量的分布特性，而不依赖于严格的参数分布假设。在传统统计学中，当我们只有一个样本时，要推断统计量的抽样分布往往需要依赖中心极限定理等大样本理论或具体的分布假设（如正态性）。重抽样方法

浏览 4 更新 2025-10-26

重抽样：从数据中"无中生有"的统计艺术

重抽样（Resampling）是一类基于计算机的统计推断方法的核心总称，其基本思想是从观测数据中反复抽取样本，通过大量重抽样的结果来评估统计量的分布特性，而不依赖于严格的参数分布假设。在传统统计学中，当我们只有一个样本时，要推断统计量的抽样分布往往需要依赖中心极限定理等大样本理论或具体的分布假设（如正态性）。重抽样方法的革命性在于：它让数据——而不是理论公式——自己"说话"。

自助法：用样本"拷贝"总体

自助法（Bootstrap）是重抽样家族中最著名、应用最广泛的成员，由Bradley Efron于1979年系统提出。其基本操作极为简单：给定一个容量为 nn 的原始样本，从中有放回地随机抽取 nn 个观测，构成一个自助样本（Bootstrap Sample）。重复这一过程 BB 次（通常 B≥1000B \ge 1000），得到 BB 个自助样本，进而计算所需统计量——如均值、中位数、回归系数或相关系数——的 BB 个值，用这 BB 个值的经验分布近似该统计量的真实抽样分布。

自助法的核心优势在于其非参数性：它不对总体的分布形式做出任何假设（如正态性或对称性），仅依赖"样本可代表总体"这一前提。这使得它在处理复杂统计量（如中位数、分位数、Gini系数、相关性比率等）的标准误和置信区间时大放异彩。常用的自助法置信区间包括百分位区间、BCa（偏差校正加速）区间和自助t区间，其中BCa区间在校正偏差和偏度方面表现尤为出色。

需要注意的是，自助法并非万能。当样本量过小（如 n<10n < 10）或数据中存在极端异常值时，自助样本可能因"复制"了有限的数据模式而产生偏差。此外，对于高度依赖数据结构的统计量（如时间序列中的自相关系数或空间统计中的莫兰指数），需要使用分块自助法（Block Bootstrap）等变体来保留数据的内在依赖结构。

刀切法：系统性的逐一剔除

刀切法（Jackknife）由Maurice Quenouille于1949年提出、John Tukey于1958年推广，是重抽样思想的早期先驱，比自助法早约三十年。其做法是：从容量为 nn 的样本中依次删除一个观测，得到 nn 个大小为 n−1n-1 的"刀切样本"，计算每个刀切样本上的统计量值 θ^(i)\hat{\theta}_{(i)}，然后通过这些值来估计偏差和方差。

刀切法特别适用于偏差校正：刀切偏差估计量为 (n−1)(θ^ˉ(⋅)−θ^)(n-1)(\bar{\hat{\theta}}_{(\cdot)} - \hat{\theta})，其中 θ^ˉ(⋅)\bar{\hat{\theta}}_{(\cdot)} 是所有刀切估计量的均值，θ^\hat{\theta} 是原始样本的估计量。刀切法的方差估计则基于 nn 个刀切估计量的离差。与自助法相比，刀切法的计算确定性更强（因为不涉及随机抽样），但对非平滑统计量（如中位数）效果不佳。

置换检验：重新洗牌的假设检验

置换检验（Permutation Test），又称随机化检验，是重抽样方法在假设检验领域的直接应用。其原理是：在原假设 H0H_0（如两组均值相等）成立的前提下，观测到的数据标签（如组别）是可交换的。通过反复随机重组（置换）数据的标签，每次计算检验统计量（如均值差、t统计量或秩和），得到该统计量在 H0H_0 下的经验分布，进而计算观测统计量的p值。

置换检验的最大优点是精确性：在数据可交换的假设下，它给出的是精确的（而非渐近近似的）p值，无需依赖任何大样本理论。这使得它特别适合于样本量较小且分布未知的研究场景——如临床试验中的罕见病研究、生态学中的物种多样性比较等。当样本量较大时，通常使用蒙特卡洛置换检验（随机抽取所有可能的置换中的一个子集）以节省计算资源。

交叉验证：模型评估的重抽样视角

交叉验证（Cross-Validation）是重抽样思想在机器学习和模型选择中的核心应用。其最常用的形式——K折交叉验证——将数据集随机分为 KK 个大小近似相等的子集，依次将每个子集作为验证集、剩余 K−1K-1 个子集作为训练集，训练模型并评估性能，最终取 KK 次评估的平均值作为模型的泛化误差估计。当 K=nK = n（即每次只留一个观测作为验证集）时，称为留一交叉验证（LOOCV），其偏差最小但方差较大且计算成本高。

交叉验证与自助法在模型评估中各有千秋。自助法通常用于估计预测误差的分布特征（如标准误），而交叉验证更侧重于选择最优模型复杂度（如正则化参数的选取）。Bootstrap + 0.632 估计——即自助法误差估计的一个改进版本——在特定场景下可以结合两者的优点。

重抽样方法的现代意义与局限

重抽样方法从根本上改变了统计实践的面貌。在大数据时代之前，统计推断严重依赖于数学推导和近似公式；而重抽样提供了一条"计算密集型但假设稀疏"的替代路径。它们的共同特征是以计算能力换取假设自由度——计算机每秒数百万次的重抽样运算，使得统计学家可以在几乎不做任何分布假设的情况下进行可靠的推断。

然而，重抽样方法并非没有代价。首先，它要求原始样本对总体具有良好的代表性——如果原始数据存在选择性偏差或测量误差，重抽样只会"放大"这些缺陷。其次，在小样本且数据高度结构化（如时间序列、空间数据、网络数据）的场景中，简单重抽样方法可能失效，需要专门设计的变体。最后，当样本量本身极大（如百万级数据）时，重复千次以上的重抽样可能带来可观的计算负担——但现代并行计算和GPU加速技术已大幅缓解了这一问题。

总体而言，重抽样方法的兴起代表了统计学从"理论驱动"向"计算驱动"的范式转型，是20世纪统计科学最重要的方法论突破之一。