克拉美-拉奥下界

克拉美-拉奥下界 (Cramér-Rao Lower Bound)

克拉美-拉奥下界（Cramér-Rao Lower Bound，CRLB），也称为克拉美-拉奥不等式，是数理统计中估计理论的核心成果，为任何确定性参数的无偏估计量的方差设定了一个理论上的最小值。这一下界提供了衡量估计量优劣程度的基准：若估计量的方差达到该下界，即为最优的无偏估计量。该理论由瑞典数学家Harald Cramér和印度统计学家C. R. Rao独立提出。

理论陈述与Fisher信息

设未知确定参数 $\theta$，来自概率密度函数 $f(x; \theta)$ 的随机样本 $X = (X_1, \ldots, X_n)$，$\hat{\theta}(X)$ 为 $\theta$ 的任意无偏估计量（$E[\hat{\theta}] = \theta$）。克拉美-拉奥不等式指出：

核心思想为，任何无偏估计量的方差不可能小于Fisher信息 $I(\theta)$ 的倒数。该下界完全由数据生成的概率模型和样本量决定，与具体估计方法无关。

Fisher信息衡量观测样本中包含的关于未知参数的信息量，信息量越大估计越精确，方差下界越小。数学定义为得分函数（对数似然函数对参数的一阶偏导 $\partial \ln f(X; \theta)/\partial \theta$，在正则性条件下其期望为零）的方差：

在正则性条件下等价于对数似然二阶导期望的负值：$I(\theta) = -E[\partial^2 \ln f(X; \theta)/\partial \theta^2]$。

当样本为独立同分布（i.i.d.）时，Fisher信息具有可加性：$I_n(\theta) = n \cdot I_1(\theta)$。CRLB变为 $\operatorname{Var}(\hat{\theta}) \ge 1/(n \cdot I_1(\theta))$，清晰表明随样本量 $n$ 增加，估计量方差下界减小，更多数据可获得更精确的估计。

有效估计量与下界的达到

有效估计量（Efficient Estimator）是方差达到CRLB的无偏估计量，也称最小方差无偏估计量（MVUE）。达到CRLB的充要条件为得分函数可表示为估计量与参数之差的线性函数：$\partial \ln f(X; \theta)/\partial \theta = a(\theta)(\hat{\theta} - \theta)$，其中 $a(\theta)$ 仅与参数有关。该条件揭示，仅当概率模型结构（尤其对数似然函数）与估计量形式高度匹配时才可能存在有效估计量，指数族分布当中经常可找到。许多复杂模型中不存在任何能达到CRLB的无偏估计量。

作为示例，估计正态分布的均值时，设 $X_i \sim N(\mu, \sigma^2)$ 且 $\sigma^2$ 已知，$\bar{X}$ 为 $\mu$ 的无偏估计且方差 $\sigma^2/n$ 等于CRLB，因此 $\bar{X}$ 是有效估计量。对于正态分布的方差 $\sigma^2$ 未知时，样本方差 $s^2$ 为无偏估计但其方差超过CRLB，说明该分布下不存在方差的有效无偏估计量。

CRLB与最大似然估计的关系为，在正则性条件下MLE是渐近有效的，当 $n \to \infty$ 时渐近方差达到CRLB，但有限样本下不一定。CRLB在推导UMVUE（一致最小方差无偏估计量）、评估估计量有效性和最优实验设计等领域具有核心理论地位，为参数估计提供了最优精度的理论极限基准。