KNOWECON WIKI

ARTICLE

经验似然

经验似然（empirical likelihood, EL）是一种非参数统计推断方法，由 Art Owen 于 1988 年系统提出。它将参数似然的思想推广到非参数设定中，通过数据驱动的离散分布对总体进行建模，从而在不假设参数分布形式的前提下实现区间估计、假设检验与置信域的构造。与传统方法相比，经验似然无需直接估计渐近方差，其置信域的形状由数据自然决定，且自

浏览 0 更新 2025-11-09

经验似然（empirical likelihood, EL）是一种非参数统计推断方法，由 Art Owen 于 1988 年系统提出。它将参数似然的思想推广到非参数设定中，通过数据驱动的离散分布对总体进行建模，从而在不假设参数分布形式的前提下实现区间估计、假设检验与置信域的构造。与传统方法相比，经验似然无需直接估计渐近方差，其置信域的形状由数据自然决定，且自动满足范围约束（如概率落在 [0,1] [0,1] 区间内）。这一方法在生物统计、计量经济学和金融风险管理等领域获得了广泛应用，被认为是二十世纪后期非参数统计领域最有影响力的发展之一。

核心构造

给定独立同分布样本 X1,X2,…,Xn∼F X_1, X_2, \ldots, X_n \sim F ，经验似然为每个观测 Xi X_i 分配概率权重 pi≥0 p_i \geq 0 ，满足 ∑i=1npi=1 \sum_{i=1}^n p_i = 1 。在无约束条件下，使乘积 ∏i=1npi \prod_{i=1}^n p_i 最大化的解为 pi=1/n p_i = 1/n （即经验分布函数）。当研究者希望施加矩条件约束时，经验似然在约束下重新分配概率权重，以最大程度地尊重数据的"似然"。

设参数 θ \theta 满足无偏估计方程 E[g(Xi,θ)]=0 \mathbb{E}[g(X_i, \theta)] = 0 ，经验似然比统计量定义为：

R(θ)=max⁡{∏i=1nnpi  |  pi≥0,  ∑i=1npi=1,  ∑i=1npig(Xi,θ)=0}R(\theta) = \max\left\{ \prod_{i=1}^n n p_i \;\middle|\; p_i \geq 0,\; \sum_{i=1}^n p_i = 1,\; \sum_{i=1}^n p_i g(X_i, \theta) = 0 \right\}

由拉格朗日乘子法，最优权重可显式表达为 pi(θ)=1n⋅11+λ⊤g(Xi,θ) p_i(\theta) = \frac{1}{n} \cdot \frac{1}{1 + \lambda^\top g(X_i, \theta)} ，其中 λ \lambda 为拉格朗日乘子向量，由矩约束方程 ∑i=1ng(Xi,θ)1+λ⊤g(Xi,θ)=0 \sum_{i=1}^n \frac{g(X_i, \theta)}{1 + \lambda^\top g(X_i, \theta)} = 0 数值确定。这一求解过程本质上是寻找一个离散概率分布，使其在矩条件约束下最大化观测数据的经验似然。

威尔克斯定理与渐近性质

Wilks 定理（经验似然版本）：在适当的正则条件下，当 θ0 \theta_0 为真实参数时，

−2log⁡R(θ0)→dχq2-2 \log R(\theta_0) \xrightarrow{d} \chi^2_q

其中 q q 为矩条件的维度。这正是经验似然的核心魅力——它恢复了参数似然中经典的 Wilks 现象，使得研究者无需估计渐近方差即可直接构造置信域。具体而言，集合 {θ:−2log⁡R(θ)≤χq,1−α2} \{\theta : -2 \log R(\theta) \leq \chi^2_{q, 1-\alpha}\} 构成 θ \theta 的渐近 100(1−α)% 100(1-\alpha)\% 置信域。与传统的正态近似置信域相比，经验似然置信域具有保形性（respects the natural shape of the data），不会出现概率落在可行域之外等不合理情形。

这一渐近性质在实践中具有重要意义。在参数似然框架下，若模型设定错误，Wilks 定理不再成立，置信区间可能产生严重偏差。经验似然作为半参数方法，对模型假设具有很强的稳健性，在模型不确定的场景下尤为适用。

估计方程框架

经验似然最强大的推广来自 Qin 和 Lawless（1994）提出的估计方程框架。设总体满足 r r 个矩条件 E[g(X,θ)]=0 \mathbb{E}[g(X, \theta)] = 0 ，其中参数 θ \theta 的维度 p p 可能小于矩条件数目 r r 。当 r>p r > p 时，存在过度识别约束，系统提供额外的检验信息。此时可同时估计参数 θ \theta 和最优概率权重，构造最大经验似然估计量（MELE）。过度识别约束下的经验似然比统计量亦渐近服从卡方分布，自由度等于过度识别约束的数目 r−p r-p ，这为模型设定检验（类似于 Sargan-Hansen J 检验）提供了天然的框架。

相较于传统 GMM 的两步估计策略，经验似然在估计方程框架下具有无需选择最优权重矩阵的显著优势。GMM 的有效性严重依赖于权重矩阵的一致估计，而经验似然通过内在的似然比机制自动实现最优加权。

与 Bootstrap 及 GMM 的比较

经验似然与 Bootstrap 同属重抽样类的非参数方法，但两者有本质区别。Bootstrap 通过从原始数据中反复有放回抽样来模拟统计量的抽样分布，其结果是随机的——不同种子会产生不同的 Bootstrap 置信区间。经验似然则通过约束优化直接构造似然函数，结果是确定性的，且避免了 Bootstrap 在小样本中可能出现的再抽样退化问题。从计算角度看，经验似然无需重复抽样，在某些应用中更为高效。

相比广义矩方法（GMM），经验似然作为单步方法无需选择权重矩阵或核带宽参数，减少了一阶渐近偏差的来源。理论分析表明，其一阶渐近效率与两步有效 GMM 等价，但在高阶性质上表现出独特优势：经验似然的置信区间具有 Bartlett 可校正性，即可以通过简单的尺度和形状校正将覆盖误差从 O(n−1) O(n^{-1}) 降至 O(n−2) O(n^{-2}) ，这是 GMM 所不具备的优良性质。

应用领域

经验似然在统计学各分支中拥有广泛的应用。在均值推断中，它提供了比 t 检验更稳健的替代方案。在分位数回归领域，经验似然无需假定误差分布的参数形式即可构造置信带。在 U-统计量、密度估计和生存分析中的 Kaplan-Meier 估计方面，经验似然同样表现出色。此外，Kitamura（1997）提出的块经验似然（block empirical likelihood）将方法拓展到了弱依赖时间序列数据，为经济学中的结构性估计提供了有效工具。在缺失数据处理中，加权经验似然方法可以利用辅助信息提高估计效率。

局限与变体

经验似然的主要计算瓶颈在于，每次评估 −2log⁡R(θ) -2 \log R(\theta) 都需要数值求解拉格朗日乘子 λ \lambda 。在参数维度较高时，剖面似然的计算成本急剧上升。此外，在重尾分布或矩条件在真实分布下无定义时，经验似然的卡方校准精度会显著下降。针对这些局限，研究者提出了多种变体：指数倾斜经验似然（exponential tilting EL）改善了数值稳定性；欧氏经验似然（Euclidean EL）利用欧氏距离代替熵度量以提高计算效率；调整经验似然（adjusted EL）解决了小样本中约束无解的问题。这些变体在保持经验似然核心理念的同时，扩展了其适用范围和数值可靠性。