Cramer-Rao下界

克拉默-拉奥下界 (Cramér-Rao Lower Bound)

克拉默-拉奥下界（Cramér-Rao Lower Bound, CRLB），也称为克拉默-拉奥不等式，是统计推断中参数估计理论的一个核心成果。它为任何无偏估计量的方差设定了一个理论上的最小值，提供了一个衡量估计量优良性的基准。该理论由瑞典统计学家哈拉尔德·克拉默和印度裔美国统计学家C. R. Rao独立提出。

核心思想与形式化定义

一个好的估计量应具备无偏性（期望值等于真实参数值）和小方差（估计值紧密围绕期望值）。克拉默-拉奥下界为第二个性质设定了理论下限——任何无偏估计量的方差不可能小于该下界。

设$X_1, \ldots, X_n$是来自概率密度函数为$f(x;\theta)$的随机样本，$\hat{\theta}$是$\theta$的无偏估计量（$E[\hat{\theta}] = \theta$）。在满足正则条件下，$\hat{\theta}$的方差满足：

其中$I_n(\theta)$为费雪信息——衡量样本数据中包含的关于参数$\theta$的信息量。对于独立同分布样本，$I_n(\theta) = n \cdot I_1(\theta)$，因此方差下界为$1/[n I_1(\theta)]$。这个形式揭示了样本量越大估计越精确的直观原理。

费雪信息与效率

费雪信息$I(\theta)$有两种等价计算形式：得分函数方差形式$I(\theta) = E[(\partial \ln f(X;\theta)/\partial \theta)^2]$，或对数似然二阶导期望的负值$I(\theta) = -E[\partial^2 \ln f(X;\theta)/\partial \theta^2]$。其直观含义是：当参数$\theta$微小变化时数据分布的变化剧烈程度——似然函数越敏感信息量越大，方差下界越小。

如果一个无偏估计量的方差恰好达到CRLB，则称为有效估计量——同时也是最小方差无偏估计量（MVUE）。有效估计量存在的充要条件是得分函数可表示为$a(\theta)(\hat{\theta} - \theta)$的形式，通常存在于指数族分布中且与充分统计量密切相关。

CRLB可推广至有偏估计量：若偏差为$b(\theta) = E[\hat{\theta}] - \theta$，则$Var(\hat{\theta}) \ge [1+b'(\theta)]^2/I(\theta)$——有偏估计量方差可能低于无偏估计量的CRLB，体现了偏差-方差权衡。多参数情形下CRLB推广为费雪信息矩阵形式：$Cov(\hat{\boldsymbol{\theta}}) \ge [I(\boldsymbol{\theta})]^{-1}$。大样本下极大似然估计是渐近有效的——当$n \to \infty$时其方差趋近于CRLB。CRLB与费雪信息共同构成了现代参数估计理论中评估估计量效率的基础分析工具。