极大似然估计的渐近无偏性

极大似然估计的渐近无偏性

极大似然估计的渐近无偏性（Asymptotic Unbiasedness of MLE）是数理统计和计量经济学中的一个重要性质，描述了当样本容量趋于无穷大时极大似然估计量（MLE）的统计行为。在统计推断中我们通常希望估计量具有无偏性，即估计量的数学期望等于真实参数值。然而在有限样本下MLE并不总是无偏的——幸运的是在满足一定正则条件下，MLE具有渐近无偏性，即随着数据量的增加其系统性偏差会逐渐消失。这一性质与一致性和渐近正态性共同构成了MLE在大样本理论下的基石。

定义与经典案例

如果估计量$\hat{\theta}_n$满足$\lim_{n \to \infty} E[\hat{\theta}_n] = \theta$，则称$\hat{\theta}_n$具有渐近无偏性。这表明虽然在样本量$n$较小时估计量可能存在偏差$Bias(\hat{\theta}_n) = E[\hat{\theta}_n] - \theta \neq 0$，但当$n \to \infty$时这个偏差会趋向于零。

经典案例是正态分布方差的MLE。假设$X_1, \ldots, X_n \overset{iid}{\sim} N(\mu, \sigma^2)$。通过最大化对数似然函数，得到$\sigma^2$的MLE为$\hat{\sigma}_{MLE}^2 = (1/n)\sum_{i=1}^n (X_i - \bar{X})^2$。利用$\sum (X_i - \bar{X})^2 \sim \sigma^2 \chi^2(n-1)$，可得$E[\hat{\sigma}_{MLE}^2] = \frac{n-1}{n}\sigma^2 = \sigma^2 - \sigma^2/n$。显然在有限样本下MLE低估了真实方差——这正是为什么在计算样本方差$S^2$时使用$1/(n-1)$作为分母来校正偏差（贝塞尔校正）。但当$n \to \infty$时，$\lim_{n \to \infty} E[\hat{\sigma}_{MLE}^2] = \lim (1 - 1/n)\sigma^2 = \sigma^2$，验证了渐近无偏性。

与其他渐近性质的关系

需厘清渐近无偏性与一致性的区别。一致性指估计量依概率收敛于真实值$\hat{\theta}_n \xrightarrow{P} \theta$，关注概率质量是否越来越集中在真值附近；渐近无偏性关注分布的"中心"（期望）是否趋向于真值。两者在数学上并不等价——存在一致估计量但非渐近无偏的情况（如分布尾部极厚导致期望不存在或无法收敛但在概率意义上收敛）。但在大多数常规的指数族分布和满足正则条件的情况下，MLE既是一致也是渐近无偏的。

一致渐近正态性$\sqrt{n}(\hat{\theta}_n - \theta) \xrightarrow{d} N(0, 1/I(\theta))$（其中$I(\theta)$为费雪信息）通常意味着比渐近无偏更强的结果，因为它不仅保证了偏差趋于零，还保证了偏差趋于零的速度为$O(1/n)$级别。MLE满足正则条件时，偏差通常为$Bias(\hat{\theta}_n) = b(\theta)/n + O(1/n^2)$的形式，其中$b(\theta)$取决于分布的具体形式。渐近无偏性是MLE大样本优良性质的重要组成部分——与一致性和渐近正态性共同保证了在大样本条件下，MLE能够提供可靠的统计推断依据。