知经 KNOWECON
登录 注册

知经百科 / Z

最大似然法

最大似然法 (Maximum Likelihood Estimation, MLE)

最大似然法 (Maximum Likelihood Estimation, MLE) 是统计学和计量经济学中最重要的参数估计方法之一，由 R. A. Fisher 于 20 世纪初系统发展。其核心思想极为朴素：给定观测到的样本数据后，选择那些使得这组数据"看起来最合理"的参数值作为估计。换言之，MLE 寻找的是在已知数据下最大化似然函数 (Likelihood Function) 的参数值。

定义与似然函数

设 X1,X2,…,Xn X_1, X_2, \ldots, X_n 是来自某概率分布的独立同分布样本，其概率密度函数（或概率质量函数）为 f(x;θ) f(x; \theta) ，其中 θ∈Θ \theta \in \Theta 是未知参数向量。定义 似然函数：

L(θ;X)=∏i=1nf(Xi;θ)L(\theta; X) = \prod_{i=1}^{n} f(X_i; \theta)

需特别注意：似然函数是 θ \theta 的函数，而数据 X X 被视为固定的。这与概率密度函数看待的方式恰好相反——后者固定 θ \theta 、变化 X X 。最大似然估计量 θ^MLE \hat{\theta}_{\text{MLE}} 定义为使似然函数达到最大值的 θ \theta ：

θ^MLE=arg⁡max⁡θ∈ΘL(θ;X)\hat{\theta}_{\text{MLE}} = \arg\max_{\theta \in \Theta} L(\theta; X)

直觉上，θ^MLE \hat{\theta}_{\text{MLE}} 回答的问题是："在哪个参数值下，我们实际看到的这组数据出现的概率（或密度）最大？"

对数似然与估计方程

由于乘积形式在优化时不便于处理，实际操作中几乎总是使用 对数似然函数 (Log-Likelihood)：

ℓ(θ)=ln⁡L(θ;X)=∑i=1nln⁡f(Xi;θ)\ell(\theta) = \ln L(\theta; X) = \sum_{i=1}^{n} \ln f(X_i; \theta)

对数变换将乘积化为求和，不仅计算上更稳定，在理论分析中也更优雅。最大化 ℓ(θ) \ell(\theta) 的一阶条件是令 得分函数 (Score Function) 为零：

S(θ)=∂ℓ(θ)∂θ=∑i=1n∂ln⁡f(Xi;θ)∂θ=0S(\theta) = \frac{\partial \ell(\theta)}{\partial \theta} = \sum_{i=1}^{n} \frac{\partial \ln f(X_i; \theta)}{\partial \theta} = 0

这组方程被称为 估计方程 (Estimating Equations) 或 似然方程 (Likelihood Equations)。在正则条件下，MLE 就是似然方程的解。得分函数具有一个关键性质：在真实参数值下，其期望为零，即 Eθ[S(θ)]=0 E_{\theta}[S(\theta)] = 0 。这是 MLE 优良理论性质的根基。

Fisher 信息量与渐近方差

Fisher 信息量 (Fisher Information) 量化了样本所携带的关于参数 θ \theta 的信息：

I(θ)=−E[∂2ℓ(θ)∂θ2]=E[(∂ℓ(θ)∂θ)2]I(\theta) = -E\left[ \frac{\partial^2 \ell(\theta)}{\partial \theta^2} \right] = E\left[ \left( \frac{\partial \ell(\theta)}{\partial \theta} \right)^2 \right]

从几何视角看，Fisher 信息量度量了对数似然函数在真实值附近的"曲率"：曲率越大（信息越多），似然函数越尖锐，参数越容易精确识别。MLE 的核心渐近结果是：

n(θ^MLE−θ)→dN(0,I1(θ)−1)\sqrt{n} (\hat{\theta}_{\text{MLE}} - \theta) \xrightarrow{d} N(0, I_1(\theta)^{-1})

其中 I1(θ) I_1(\theta) 是单个观测的 Fisher 信息量。这意味着：MLE 是 渐近正态 的，且其渐近方差达到了 Cramér-Rao 下界——即 MLE 是 渐近有效 (Asymptotically Efficient) 的。

MLE 的核心性质

1. 一致性 (Consistency)

在适当的正则条件下（参数空间紧致、模型可识别、对数似然足够光滑），MLE 是 一致的：θ^MLE→pθ0 \hat{\theta}_{\text{MLE}} \xrightarrow{p} \theta_0 。随着样本量增大，MLE 以概率收敛到真实参数值。

2. 渐近有效性 (Asymptotic Efficiency)

在所有一致渐近正态 (CAN) 估计量中，MLE 的渐近方差最小。这是 MLE 的"皇冠之珠"——大样本下，没有任何正则估计量能比 MLE 更精确。

3. 不变性 (Invariance)

若 θ^ \hat{\theta} 是 θ \theta 的 MLE，则对于任意函数 g(⋅) g(\cdot) ，g(θ^) g(\hat{\theta}) 就是 g(θ) g(\theta) 的 MLE。这一性质极为便利：例如，若已求得正态总体方差 σ2 \sigma^2 的 MLE，则标准差 σ \sigma 的 MLE 直接对它开平方根即可，无需重新优化。相比之下，无偏性并不具有不变性。

4. 充分性 (Sufficiency)

MLE 总是充分统计量的函数。这保证了 MLE 充分提取了样本中关于参数的信息，没有遗漏。

经典示例

1. 正态总体均值与方差

设 Xi∼iidN(μ,σ2) X_i \stackrel{\text{iid}}{\sim} N(\mu, \sigma^2) 。对数似然为：

ℓ(μ,σ2)=−n2ln⁡(2πσ2)−12σ2∑i=1n(Xi−μ)2\ell(\mu, \sigma^2) = -\frac{n}{2} \ln(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^{n} (X_i - \mu)^2

求导解得：

μ^MLE=Xˉ,σ^MLE2=1n∑i=1n(Xi−Xˉ)2\hat{\mu}_{\text{MLE}} = \bar{X}, \quad \hat{\sigma}^2_{\text{MLE}} = \frac{1}{n} \sum_{i=1}^{n} (X_i - \bar{X})^2

值得注意的是，σ^MLE2 \hat{\sigma}^2_{\text{MLE}} 是有偏的（分母为 n n 而非 n−1 n-1 ），但它具有更低的均方误差，且在大样本下偏误消失。这正是 MLE 与 MVUE 视角差异的缩影。

2. Bernoulli 分布

设 Xi∼Bernoulli(p) X_i \sim \text{Bernoulli}(p) 。似然函数为 L(p)=p∑Xi(1−p)n−∑Xi L(p) = p^{\sum X_i} (1-p)^{n-\sum X_i} ，解得 p^MLE=Xˉ \hat{p}_{\text{MLE}} = \bar{X} ——即样本频率。简洁而自然。

3. 均匀分布

设 Xi∼U(0,θ) X_i \sim U(0, \theta) 。似然函数 L(θ)=1/θn L(\theta) = 1/\theta^n 当 θ≥X(n) \theta \geq X_{(n)} ，否则为零。MLE 为 θ^MLE=X(n)=max⁡(X1,…,Xn) \hat{\theta}_{\text{MLE}} = X_{(n)} = \max(X_1, \ldots, X_n) 。这里似然函数不可微，但可直接由定义求解。MLE 有偏，经修正后可得 MVUE（n+1nX(n) \frac{n+1}{n}X_{(n)} ）。

数值计算：Newton-Raphson 方法

当似然方程无法求得解析解时，常使用 Newton-Raphson 方法 进行数值优化。迭代格式为：

θ(k+1)=θ(k)−[H(θ(k))]−1S(θ(k))\theta^{(k+1)} = \theta^{(k)} - \left[ H(\theta^{(k)}) \right]^{-1} S(\theta^{(k)})

其中 H(θ)=∂2ℓ(θ)∂θ∂θT H(\theta) = \frac{\partial^2 \ell(\theta)}{\partial \theta \partial \theta^T} 是 Hessian 矩阵。在实际计算中，常用 Fisher 信息量矩阵 −E[H(θ)] -E[H(\theta)] 取代 H(θ) H(\theta) ，得到 Fisher 得分算法 (Fisher Scoring)，具有更好的数值稳定性。现代统计软件（如 R 的 \texttt{optim}、Python 的 \texttt{scipy.optimize}）均提供了 MLE 的自动计算工具。

与矩估计法的比较

矩估计法 (Method of Moments, MoM) 是由 Karl Pearson 提出的另一种经典估计方法。它的思想是基于样本矩与总体矩之间的对应关系来求解参数。与 MLE 相比：MoM 计算简便，通常可得显式解，但在大样本下不如 MLE 有效（方差更大）。一个典型例子是：Gamma 分布的参数估计中，MLE 虽无显式解需迭代求解，但其渐近方差显著小于矩估计量。矩估计的残差在被更渐近有效的 MLE 所取代之前曾长期占据主导地位，这段历史也反映了统计学从实用到理论完备的演进。

最大似然法的局限与反思

尽管 MLE 享有极高的理论地位，它并非放之四海皆准。首先，MLE 对模型设定的依赖极强：若似然函数被错误设定（模型误设），MLE 就不再一致，其优良性质荡然无存。其次，在小样本中 MLE 可能表现很差——经典的 Neyman-Scott 问题中，随着参数个数随样本量增长，MLE 甚至不再一致。此外，当似然函数呈多峰形态时，数值算法可能陷入局部最大值而难以找到全局解。在高维场景下，MLE 易出现过拟合，这促使了正则化(如Lasso中的 L1 L_1 惩罚)的广泛应用。正则化 MLE 可视为在最大化对数似然的同时加上关于参数大小的惩罚项 ℓ(θ)−λ∥θ∥1 \ell(\theta) - \lambda \|\theta\|_1 ，是"让数据说话"与"奥卡姆剃刀"之间的折中。

小结

最大似然法以其定义直观、理论性质卓越、适用范围广泛而成为统计推断的基石。它的一致性、渐近有效性和不变性构成了现代参数估计理论的黄金标准。理解 MLE 不仅是掌握计量经济学技术工具的必经之路，更是深入理解 Fisher 学派"让数据为模型投票"这一统计哲学的门径。从简单的均值估计到复杂的{结构方程模型}和机器学习中的对数损失，MLE 的思想始终贯穿。在当代的{贝叶斯统计}框架中，当先验分布趋于平坦时，最大后验估计 (MAP) 也退化为 MLE——这再次印证了 MLE 的中心地位：它不仅是频率学派的核心，也是通向贝叶斯世界的桥梁。

返回百科索引