MLE的不变性

MLE的不变性 (Invariance Property of MLE)

MLE的不变性（Invariance Property of Maximum Likelihood Estimator），也称函数不变性或变换不变性，是最大似然估计（MLE）方法一个极其重要且方便的性质。该性质指出：如果$\hat{\theta}$是参数$\theta$的MLE，那么对于任意关于$\theta$的函数$g(\theta)$，其MLE就是$g(\hat{\theta})$——求参数函数的MLE无需重新构建和最大化新似然函数，直接代入即可。这极大地简化了对参数变换形式的估计过程。

形式化表述与理论证明

设随机样本的PDF为$f(x;\theta)$，$\hat{\theta}_{MLE} = \arg\max_\theta L(\theta; \mathbf{x})$是参数的MLE。对参数$\tau = g(\theta)$，MLE不变性表明$\hat{\tau}_{MLE} = g(\hat{\theta}_{MLE})$。对参数向量情形同样适用：$\hat{\tau}_{MLE} = g(\hat{\theta}_1, \ldots, \hat{\theta}_k)$。

证明根据函数性质分两种情况。一对一映射情形：存在反函数$h = g^{-1}$使$\theta = h(\tau)$。重新参数化似然函数为$L^*(\tau; \mathbf{x}) = L(h(\tau); \mathbf{x})$。因$L$在$\hat{\theta}_{MLE}$处最大，$L^*$在满足$h(\tau) = \hat{\theta}_{MLE}$的$\tau$处最大。令该点为$\hat{\tau}_{MLE}$，则$h(\hat{\tau}_{MLE}) = \hat{\theta}_{MLE}$，应用$g$得$\hat{\tau}_{MLE} = g(\hat{\theta}_{MLE})$。证明完成。

非一对一函数情形：通过诱导似然函数（induced likelihood function）定义来处理——定义$L^*(\tau; \mathbf{x}) = \sup_{\theta: g(\theta)=\tau} L(\theta; \mathbf{x})$，即在所有满足$g(\theta)=\tau$的$\theta$中取似然函数的极大值。可以证明$\hat{\tau}_{MLE} = g(\hat{\theta}_{MLE})$在该广义设定下仍然成立。不变性的直观理解在于：似然函数衡量数据对参数值的支持度，找到最受支持的参数值后，该支持度自然传递给其函数值。

应用示例与适用范围

MLE不变性的典型应用示例如下。正态分布$N(\mu, \sigma^2)$：$\sigma^2$的MLE为$\hat{\sigma}^2 = (1/n)\sum(X_i - \bar{X})^2$，则$\sigma = \sqrt{\sigma^2}$的MLE为$\sqrt{\hat{\sigma}^2}$（无需重新优化）。伯努利分布：成功概率$p$的MLE为$\hat{p} = \bar{X}$，则几率比（odds ratio）$p/(1-p)$的MLE为$\hat{p}/(1-\hat{p})$。对数正态分布均值$\exp(\mu+\sigma^2/2)$的MLE为$\exp(\hat{\mu}+\hat{\sigma}^2/2)$。

需注意MLE不变性适用于点估计值本身，但MLE的无偏性不具有变换不变性——例如$\hat{\sigma}^2$可能有偏但其平方根$\hat{\sigma}$通常不是无偏的。对于贝叶斯估计，MAP估计一般不具有MLE式的不变性——这是因为MAP优化中先验项变换后不保持。在估计量的渐近方差方面，需用Delta方法计算变换后MLE的渐近分布。MLE不变性以其概念的简洁性与实践的便利性，是MLE方法在应用中最受称道的性质之一。