知经 KNOWECON
登录 注册

知经百科 / W

Wilks's 定理

Wilks's 定理

Wilks定理是统计学中关于似然比检验（Likelihood Ratio Test, LRT）的渐近理论的核心结果，由美国统计学家Samuel S. Wilks于1938年正式提出。该定理指出：在适当的正则条件下，原假设成立时，似然比检验统计量 −2log⁡Λ-2\log\Lambda 的渐近分布是卡方分布，其自由度等于原假设所施加的约束个数。这一结果使得似然比检验成为参数统计推断中最通用、最有力的工具之一。

定理陈述

设参数空间为 Θ⊆Rp\Theta \subseteq \mathbb{R}^p，原假设 H0H_0 将参数限制在子空间 Θ0⊆Θ\Theta_0 \subseteq \Theta 上，其中 dim⁡(Θ0)=p−r\dim(\Theta_0) = p - r，即原假设施加了 rr 个独立约束。设 X1,X2,…,XnX_1, X_2, \ldots, X_n 为来自密度 f(x∣θ)f(x \mid \theta) 的独立同分布样本。定义似然比统计量：

Λn=sup⁡θ∈Θ0∏i=1nf(Xi∣θ)sup⁡θ∈Θ∏i=1nf(Xi∣θ)=L(θ^0)L(θ^)\Lambda_n = \frac{\sup_{\theta \in \Theta_0} \prod_{i=1}^n f(X_i \mid \theta)}{\sup_{\theta \in \Theta} \prod_{i=1}^n f(X_i \mid \theta)} = \frac{L(\hat{\theta}_0)}{L(\hat{\theta})}

其中 θ^\hat{\theta} 是全参数空间上的最大似然估计（MLE），θ^0\hat{\theta}_0 是在原假设限制下的约束MLE。Wilks定理断言：当 H0H_0 成立且正则条件满足时，

−2log⁡Λn→dχr2(n→∞)-2\log\Lambda_n \xrightarrow{d} \chi^2_r \quad (n \to \infty)

即负二倍对数似然比依分布收敛于自由度为 rr 的卡方分布。

正则条件

Wilks定理的成立需要一系列正则条件来保证MLE的渐近正态性和似然函数的光滑性。这些条件主要包括：参数空间 Θ\Theta 是 Rp\mathbb{R}^p 中的开集，且真参数 θ0\theta_0 是 Θ\Theta 的内点；支撑集 {x:f(x∣θ)>0}\{x : f(x \mid \theta) > 0\} 不依赖于 θ\theta；密度函数 f(x∣θ)f(x \mid \theta) 关于 θ\theta 三阶可导，且前两阶导数在 θ0\theta_0 的邻域内存在可积的控制函数；Fisher信息矩阵 I(θ0)I(\theta_0) 正定且有限；MLE θ^\hat{\theta} 是相合的，且是似然方程的唯一解。在这些条件下，定理的结论严格成立。

证明思路

Wilks定理的标准证明依赖于泰勒展开和大数定律与中心极限定理的联合应用。核心步骤如下：

首先，在对数似然比 −2log⁡Λn=2[ℓ(θ^)−ℓ(θ^0)]-2\log\Lambda_n = 2[\ell(\hat{\theta}) - \ell(\hat{\theta}_0)] 中，将 ℓ(θ^0)\ell(\hat{\theta}_0) 在 θ^\hat{\theta} 处进行二阶泰勒展开：

ℓ(θ^0)≈ℓ(θ^)+ℓ′(θ^)(θ^0−θ^)+12(θ^0−θ^)Tℓ′′(θ^)(θ^0−θ^)\ell(\hat{\theta}_0) \approx \ell(\hat{\theta}) + \ell'(\hat{\theta})(\hat{\theta}_0 - \hat{\theta}) + \frac{1}{2}(\hat{\theta}_0 - \hat{\theta})^T \ell''(\hat{\theta})(\hat{\theta}_0 - \hat{\theta})

由于 θ^\hat{\theta} 是MLE，其得分函数 ℓ′(θ^)=0\ell'(\hat{\theta}) = 0（一阶条件），因而一阶项消失。进一步地，利用信息矩阵的渐近等价性 ℓ′′(θ^)≈−nI(θ0)\ell''(\hat{\theta}) \approx -n I(\theta_0)，以及MLE的渐近正态性 n(θ^−θ0)→dN(0,I(θ0)−1)\sqrt{n}(\hat{\theta} - \theta_0) \xrightarrow{d} N(0, I(\theta_0)^{-1})，可以在原假设下将 −2log⁡Λn-2\log\Lambda_n 重写为二次型：

−2log⁡Λn≈n(θ^−θ^0)TI(θ0)(θ^−θ^0)-2\log\Lambda_n \approx n(\hat{\theta} - \hat{\theta}_0)^T I(\theta_0) (\hat{\theta} - \hat{\theta}_0)

最后，利用约束MLE θ^0\hat{\theta}_0 和全模型MLE θ^\hat{\theta} 在原假设下的联合渐近性质，可以证明该二次型渐近服从自由度为约束个数 rr 的卡方分布。

应用与意义

Wilks定理最重要的实际价值在于它为假设检验提供了一种统一的、机械化的构造方法——无论待检验的假设是线性还是非线性、是关于单个参数还是多个参数的联合约束，只要模型的似然函数可写，就可以通过比较约束模型与非约束模型的对数似然值差值的两倍，然后对照 χr2\chi^2_r 分布的分位数来判断是否拒绝原假设。这种做法极大地简化了复杂假设检验问题的技术处理，使得研究者无需为每一种特定约束形式单独推导检验统计量的分布。

举个具体例子：考虑检验线性回归模型中两个系数是否相等 H0:β1=β2H_0: \beta_1 = \beta_2。若采用Wald检验，需要构造 β^1−β^2\hat{\beta}_1 - \hat{\beta}_2 及其标准误的估计量；若采用Score检验，需要计算在原假设约束下的得分函数；而采用似然比检验，只需分别估计约束模型和无约束模型的MLE，代入似然函数计算 −2log⁡Λ-2\log\Lambda 后与 χ12\chi^2_1 比较即可。这种统一性使得似然比检验在复杂模型的假设检验中具有不可替代的地位。

在计量经济学中，似然比检验与Wald检验、拉格朗日乘数检验（Score检验）并称为三大经典渐近检验，三者在大样本下等价但在有限样本中的表现有所差异。对于线性约束，三者满足不等式关系 W≥LR≥LMW \geq LR \geq LM（在正态线性模型中等价成立），这意味着Wald检验倾向于更频繁地拒绝原假设，而Score检验则相对保守。Wilks定理的核心优势在于其检验统计量的构造最为自然——无需估计参数协方差矩阵的逆，也无需在原假设限制下求解得分方程，仅需比较约束模型与非约束模型的对数似然值即可完成检验。

在机器学习与数据科学中，Wilks定理被广泛用于模型选择与特征筛选。在嵌套模型之间比较时，可利用似然比检验判断额外参数是否显著改善模型拟合。例如在逻辑回归、泊松回归等广义线性模型（GLM）框架下，通过计算偏差（deviance）的差值——即两个模型负二倍对数似然的差——并与 χ2\chi^2 分布的分位数对照，来判断增加预测变量是否具有统计显著性。这种方法比仅依赖AIC或BIC等信息准则更为严谨，因为它提供了正式的假设检验框架和相应的p值。此外，在结构方程模型、混合效应模型以及项目反应理论等需要处理复杂嵌套结构的领域中，Wilks定理都是进行模型比较推断的理论基础。

注意事项与局限

尽管Wilks定理具有广泛的适用性，在实际应用中仍需注意以下几点。第一，卡方近似仅在大样本下成立，对于小样本情形应采用更精确的方法或Bartlett校正。第二，当原假设位于参数空间的边界上时（例如检验方差分量是否为零），Wilks定理的标准结论不再适用，此时渐近分布可能为混合卡方分布。第三，当模型的参数个数随样本量增长或模型不可识别时，定理的条件可能被破坏，需要采用自助法（Bootstrap）等替代方法进行推断。

历史背景

Samuel S. Wilks（1906--1964）是美国数理统计学的先驱人物，长期在普林斯顿大学任教，曾任美国统计协会主席。Wilks在1938年发表于《The Annals of Mathematical Statistics》的论文中首次严格证明了似然比统计量的渐近分布，这一结果后来成为数理统计教科书的标准内容，也是现代统计推断理论的基石之一。Wilks在多元统计分析、实验设计和非参数统计等领域也做出了重要贡献，其名字还出现在Wilks分布（即多元方差分析中Wilks' Lambda统计量的分布）中。

返回百科索引