# 似然比检验 (Likelihood-Ratio Test)
似然比检验 (Likelihood-Ratio Test, LRT) 是{{{统计推断}}}中一种基础且应用广泛的{{{假设检验}}}方法。它的核心思想是通过比较两个竞争性{{{统计模型}}}的拟合优度来做出决策。具体而言，它比较的是一个参数受约束的“简化模型”（对应{{{零假设}}} $H_0$）与一个参数不受约束的“完整模型”（对应{{{备择假设}}} $H_1$）的{{{似然函数}}}最大值之比。似然比检验以其良好的统计性质和普适性而闻名，其理论基础与强大的{{{Neyman-Pearson引理}}}紧密相关。
## 核心概念与定义
要理解似然比检验，首先需要掌握以下几个基本概念：
* {{{似然函数}}} (Likelihood Function)：对于一组给定的观测数据 $\mathbf{x}$，似然函数 $L(\theta | \mathbf{x})$ 是关于模型参数 $\theta$ 的函数。它衡量了在不同的参数 $\theta$ 取值下，观测到当前这组数据 $\mathbf{x}$ 的可能性。似然函数值越大，意味着该参数值与观测数据的“契合度”越高。
* {{{参数空间}}} (Parameter Space)：参数空间 $\Theta$ 是模型参数 $\theta$ 所有可能取值的集合。
* 假设的设定：在似然比检验的框架下，我们通常检验的是关于参数的约束。零假设 $H_0$ 将参数 $\theta$ 限制在参数空间 $\Theta$ 的一个子集 $\Theta_0$ 内，而备择假设 $H_1$ 则认为参数在 $\Theta_0$ 之外。 * 零假设 $H_0: \theta \in \Theta_0$ * 备择假设 $H_1: \theta \in \Theta \setminus \Theta_0$ 这种情况最常见于 嵌套模型 (Nested Models) 的比较。如果模型A的参数空间是模型B参数空间的一个子集，那么模型A就嵌套于模型B中。在这种情况下，零假设对应的模型（受约束模型）是完整模型（不受约束模型）的一个特例。
## 似然比检验统计量
似然比检验统计量，通常记为 $\Lambda(\mathbf{x})$ 或 $\lambda$，其定义如下：
$$ \Lambda(\mathbf{x}) = \frac{\sup_{\theta \in \Theta_0} L(\theta | \mathbf{x})}{\sup_{\theta \in \Theta} L(\theta | \mathbf{x})} $$
我们来分解这个公式的含义：
* 分子 $\sup_{\theta \in \Theta_0} L(\theta | \mathbf{x})$: 这是在零假设 $H_0$ 成立的约束条件下（即参数 $\theta$ 必须在子空间 $\Theta_0$ 内取值），似然函数的最大值。这个值是通过在 $\Theta_0$ 内寻找参数的{{{最大似然估计}}} (Maximum Likelihood Estimate, MLE) 并代入似然函数得到的。我们称之为 受约束的最大似然值。
* 分母 $\sup_{\theta \in \Theta} L(\theta | \mathbf{x})$: 这是在整个参数空间 $\Theta$ 中，似然函数能达到的最大值。这个值是通过在 $\Theta$ 内寻找参数的无约束MLE并代入似然函数得到的。我们称之为 无约束的最大似然值。
### 对统计量 $\Lambda$ 的解读
由于 $\Theta_0$ 是 $\Theta$ 的一个子集，在受约束的集合中找到的最大值永远不可能超过在更大的集合中找到的最大值。因此，$\Lambda(\mathbf{x})$ 的取值范围是 $[0, 1]$。
* 如果 $\Lambda(\mathbf{x})$ 的值 接近 1，这意味着施加在参数上的约束（即 $H_0$）并没有显著降低模型对数据的解释能力（即似然值）。在这种情况下，我们没有充分的理由拒绝零假设。
* 如果 $\Lambda(\mathbf{x})$ 的值 接近 0，这意味着与完整模型相比，受约束的零假设模型对数据的拟合程度非常差。这为我们拒绝零假设提供了强有力的证据。
因此，我们的决策准则是：当 $\Lambda(\mathbf{x})$ 小到一定程度时，我们就拒绝 $H_0$。这个“一定程度”由{{{显著性水平}}} $\alpha$ 决定。
## Wilks's 定理：检验的实际应用
直接推导 $\Lambda(\mathbf{x})$ 的精确抽样分布通常非常困难。然而，一个名为 {{{Wilks's 定理}}} (Wilks's Theorem) 的重要渐近理论结果，使得似然比检验在实践中变得可行。
Wilks's 定理指出，在满足一定正则性条件且样本量 $n$ 足够大的情况下，当零假设 $H_0$ 为真时，一个经过变换的检验统计量 $-2 \log \Lambda(\mathbf{x})$ 近似服从{{{卡方分布}}} ($\chi^2$ distribution)。
这个新的检验统计量通常被称为 对数似然比统计量，记为 $LR$： $$ LR = -2 \log \Lambda(\mathbf{x}) = -2 \left[ \log\left(\sup_{\theta \in \Theta_0} L(\theta | \mathbf{x})\right) - \log\left(\sup_{\theta \in \Theta} L(\theta | \mathbf{x})\right) \right] $$ 为了计算方便，更常用的形式是： $$ LR = 2 \left( \ell(\hat{\theta}_{unconstrained}) - \ell(\hat{\theta}_{constrained}) \right) $$ 其中 $\ell(\cdot)$ 是对数似然函数，$\hat{\theta}_{unconstrained}$ 是无约束MLE，$\hat{\theta}_{constrained}$ 是受约束MLE。
卡方分布的{{{自由度}}} (degrees of freedom, df) 等于由零假设 $H_0$ 施加的、独立的参数约束的数量。这通常等于完整参数空间 $\Theta$ 的维度与受约束参数空间 $\Theta_0$ 的维度之差： $$ df = \dim(\Theta) - \dim(\Theta_0) $$
### 实际决策步骤
1. 根据数据，分别计算在完整模型和受约束模型下的最大对数似然值。 2. 计算对数似然比统计量 $LR = 2 \times (\text{无约束最大对数似然值} - \text{受约束最大对数似然值})$。 3. 确定由 $H_0$ 施加的约束个数，即自由度 $df$。 4. 设定一个{{{显著性水平}}} $\alpha$（如 0.05）。 5. 从{{{卡方分布}}}表中查得或通过软件计算出临界值 $\chi^2_{\alpha, df}$。 6. 决策：如果计算出的 $LR > \chi^2_{\alpha, df}$，则拒绝零假设 $H_0$；否则，不拒绝 $H_0$。或者，我们可以计算出相应的{{{p-value}}} $= P(\chi^2_{df} \ge LR)$，如果 p-value < $\alpha$，则拒绝 $H_0$。
## 应用示例：检验硬币的公平性
假设我们抛掷一枚硬币 $n=100$ 次，观察到 $k=60$ 次正面。我们想检验这枚硬币是否是公平的。
* 模型：每次抛掷是一个{{{伯努利试验}}}，总正面次数服从{{{二项分布}}} $X \sim \text{Binomial}(n, p)$，其中 $p$ 是单次抛掷得到正面的概率。 * 数据：观测到 $k=60$ 次正面，在 $n=100$ 次试验中。 * 似然函数：$L(p | k) = \binom{n}{k} p^k (1-p)^{n-k}$。 * 假设： * $H_0: p = 0.5$ （硬币是公平的）。这里的参数空间是 $\Theta_0 = \{0.5\}$。 * $H_1: p \neq 0.5$ （硬币不公平）。这里的完整参数空间是 $\Theta = [0, 1]$。
1. 计算受约束最大似然值： 在 $H_0$ 下，$p$ 被固定为 0.5。对数似然值为： $\ell(p=0.5) = \log\binom{100}{60} + 60 \log(0.5) + 40 \log(0.5) = \log\binom{100}{60} + 100 \log(0.5) \approx \log\binom{100}{60} - 69.31$。
2. 计算无约束最大似然值： 在完整模型中，$p$ 的MLE是样本均值 $\hat{p} = k/n = 60/100 = 0.6$。 对数似然值为： $\ell(\hat{p}=0.6) = \log\binom{100}{60} + 60 \log(0.6) + 40 \log(0.4) \approx \log\binom{100}{60} - 30.64 - 36.65 = \log\binom{100}{60} - 67.29$。
3. 计算LR统计量： $LR = 2(\ell(\hat{p}=0.6) - \ell(p=0.5)) \approx 2 \times ((\log\binom{100}{60} - 67.29) - (\log\binom{100}{60} - 69.31)) = 2 \times (69.31 - 67.29) = 4.04$。
4. 确定自由度： 完整参数空间 $\Theta = [0,1]$ 的维度是1（仅一个参数 $p$）。$H_0$ 将 $p$ 固定为一个值，施加了1个约束。因此，自由度 $df = 1-0 = 1$。
5. 做出决策： 设定显著性水平 $\alpha = 0.05$。查阅卡方分布表，自由度为1的临界值 $\chi^2_{0.05, 1} \approx 3.841$。 因为我们计算出的 $LR = 4.04 > 3.841$，所以我们拒绝零假设 $H_0$。结论是：有统计学证据表明，在5％的显著性水平上，这枚硬币是不公平的。
## 性质与关联
* 与Neyman-Pearson引理的关系：对于简单假设（即 $H_0: \theta = \theta_0$ vs $H_1: \theta = \theta_1$），Neyman-Pearson引理证明了似然比检验是所有具有相同{{{第一类错误概率}}}的检验中，拥有最高{{{检验功效}}} (Power) 的检验，即{{{最强检验}}}。这为LRT提供了坚实的理论基础。
* 渐近等价性：在大样本下，似然比检验、{{{Wald检验}}} (Wald Test) 和{{{拉格朗日乘数检验}}} (Lagrange Multiplier Test, 或称Score Test) 是渐近等价的。这意味着在样本量足够大时，这三种检验方法通常会得出相同的结论。
* 参数化不变性 (Invariance to Reparameterization)：似然比检验的一个优良特性是其结果不依赖于模型的参数化方式。无论你用概率 $p$ 还是用对数发生比 (log-odds) $\log(\frac{p}{1-p})$ 来参数化伯努利模型，LRT统计量的值都保持不变。而Wald检验则不具备此特性。
* 普适性：LRT是一种非常通用的方法，可用于检验关于单个或多个参数的简单或复合假设，广泛应用于{{{计量经济学}}}、{{{生物统计学}}}、{{{心理学}}}等众多领域，尤其是在模型选择和评估中扮演着核心角色。