插补方法

插补方法

插补方法（Imputation Methods）是统计调查与计量经济学中处理缺失数据的一类核心技术。在实际数据收集过程中，由于受访者拒答、记录遗漏、设备故障或数据整合等原因，缺失值几乎不可避免。直接剔除含有缺失项的观测（完全案例分析法，Listwise Deletion）不仅损失样本信息，还可能在缺失非完全随机时引入严重的选择性偏误。插补方法通过利用观测数据中的可用信息对缺失值进行合理填充，使数据集完整化，从而保留样本量并降低偏误风险。插补不是对真实值的完美还原，而是在特定假设下构造一个可用的统计近似。

缺失数据的分类机制

理解缺失数据的生成机制是选择恰当插补方法的前提。Rubin（1976）将缺失机制分为三类。完全随机缺失（MCAR, Missing Completely At Random）：缺失发生与数据中任何变量（包括观测到的和未观测到的）均无关，缺失子样本是总体的随机子集。此时完全案例分析法虽无偏，但效率降低。随机缺失（MAR, Missing At Random）：缺失仅依赖于已观测到的变量值，而与被缺失值本身无关。例如高收入者更可能拒报收入，但在给定年龄、职业等可观测特征后，拒报概率与收入本身无关。社会科学中多数缺失被假定为 MAR。非随机缺失（MNAR, Missing Not At Random）：缺失依赖于缺失值本身，无法被观测数据完全解释。例如抑郁症患者更可能跳过心理测评问题。MNAR 下所有标准插补方法均可能产生偏误，需要选择模型或模式混合模型等专门技术。

单值插补方法

均值/中位数插补是最简单的插补形式：用变量的观测均值或中位数替代缺失值。该方法操作简便但会人为降低变量方差，扭曲协方差结构，低估标准误。适用于缺失比例极低且对精度要求不高的探索性分析。

回归插补利用观测变量间的线性关系预测缺失值。以完整变量为自变量建立回归模型，代入缺失个案的自变量值获得预测值作为插补值。相比均值插补，回归插补利用了变量间的相关性，保留了变量间的协方差信息。但其致命缺陷是忽略了预测的不确定性——插补值落在回归线上而无残差扰动，导致插补后数据的变异度被人为压缩。

热平台插补（Hot Deck Imputation）从同一样本中寻找与缺失个案在关键特征上相似的完整个案（"供体"），直接借用其值。该方法不依赖参数假设，保持数据的分布特征和变量间关系。变体包括随机热平台（在匹配组内随机选取供体）和序贯热平台（按一定顺序选取）。冷平台插补（Cold Deck）则从外部历史数据或其它调查中寻找供体，常用于跨时期数据衔接。

末次观测结转法（LOCF, Last Observation Carried Forward）在纵向数据和临床试验中常见：用同一受试者的最近一次观测值填补后续缺失。该方法假设数据在缺失后保持稳定，在病情渐进的场景下可能严重偏倚，近年受到方法论者的严厉批评。

多重插补

多重插补（Multiple Imputation, MI）由 Rubin（1987）系统提出，是目前处理缺失数据的金标准方法。其核心思想是：单次插补将插补值当作真实值处理，无法反映缺失的不确定性；多重插补则为每个缺失值生成 $m$ 个（通常 $m = 5$ 至 $20$）合理替代值，构造 $m$ 个完整数据集，对每个数据集分别进行目标分析，最后用 Rubin 规则合并结果。

合并公式为：令 $Q$ 为目标参数，$\hat{Q}_j$ 为第 $j$ 个插补数据集上的点估计，$\bar{Q} = \frac{1}{m}\sum_{j=1}^{m}\hat{Q}_j$ 为合并估计。总方差为组内方差与组间方差之和：

其中 $\bar{U} = \frac{1}{m}\sum U_j$ 为组内方差均值，$B = \frac{1}{m-1}\sum(\hat{Q}_j - \bar{Q})^2$ 为组间方差。因子 $(1+1/m)$ 是对有限插补次数的校正。

多重插补的实现框架主要有两种。联合建模法（Joint Modeling, JM）假设数据服从多元正态分布，采用数据增广（Data Augmentation）算法通过马尔可夫链蒙特卡洛（MCMC）迭代从后验分布中抽取。完全条件规范法（Fully Conditional Specification, FCS），即链式方程多重插补（MICE, Multiple Imputation by Chained Equations），逐一为每个含缺失的变量指定条件分布（如连续变量用线性回归、二分类变量用逻辑回归），循环迭代至收敛。MICE 灵活处理混合类型变量，在应用研究中更为普及。

现代机器学习插补

近年来机器学习方法被引入插补领域。K 近邻插补（KNN Imputation）用特征空间中最近的 $k$ 个观测的（加权）均值填充缺失值，对高维数据效果良好但计算量大。随机森林插补（MissForest）利用随机森林对每个含缺失的变量建模，通过迭代优化逼近真实值，对非线性关系和非参数设定表现出色。矩阵分解法如通过主成分分析或低秩矩阵补全将数据矩阵分解后重构填充，适用于高维稀疏矩阵场景。

计量经济学中的应用与注意事项

在应用微观经济学中，插补广泛用于处理收入、工资等敏感变量的项目无应答。多重插补被视为处理调查缺失的标准做法，被美国人口调查局、世界银行等机构采用。注意事项包括：插补模型应包含目标分析模型中的所有变量（包括因变量），否则会向零偏倚；插补后标准误须反映不确定性，多重插补的 Rubin 规则或自助法均为有效手段；插补的合理性依赖于 MAR 假设的可信度，敏感性分析（如模式混合模型下的偏离检验）是现代规范的组成部分。插补方法不是万灵药，但它将缺失数据的处理从临时的权宜之计提升为可检验、可重复的统计推断框架。\boxed{$\text{插补的核心不是猜测缺失值，而是生成缺失值在已知信息下的合理分布。}$}