Cramér-Rao下界

Cramér-Rao下界 (Cramér-Rao Lower Bound)

Cramér-Rao下界（Cramér-Rao Lower Bound, CRLB），也称为Cramér-Rao不等式，是数理统计学中估计理论的一个核心成果。它为任何确定性参数的无偏估计量的方差设定了一个理论上的最小值——告诉我们给定统计模型下一个无偏估计量的精度所能达到的上限。该理论由瑞典数学家Harald Cramér和印度裔美国统计学家C. R. Rao分别独立提出。

正则条件与Fisher信息

CRLB的成立依赖一系列正则条件：参数空间为实数轴上的开区间；PDF或PMF的支撑集不依赖未知参数$\theta$；对数似然函数关于$\theta$一阶可微；求期望与求导操作可交换顺序；Fisher信息存在且为正有限。

Fisher信息$I(\theta)$衡量单次观测样本中包含的关于参数$\theta$的信息量，定义为得分函数（对数似然的一阶导数）的方差：$I(\theta) = E[(\partial \ln f(X;\theta)/\partial \theta)^2] = Var(S(\theta))$。在正则条件下等价于$I(\theta) = -E[\partial^2 \ln f(X;\theta)/\partial \theta^2]$——通常计算更方便。对于$n$个独立同分布样本，总Fisher信息为$I_n(\theta) = n \cdot I(\theta)$。

CRLB的应用与局限性

方差下界为$Var(\hat{\theta}) \ge 1/I_n(\theta) = 1/[n I(\theta)]$。若估计量达到此最小方差则称为有效估计量。经典实例：正态分布$N(\mu, \sigma^2)$当$\sigma^2$已知时，样本均值$\bar{X}$的方差$\sigma^2/n$恰好等于CRLB——因此$\bar{X}$为$\mu$的有效估计量。对于均匀分布$U(0, \theta)$，支撑集依赖参数$\theta$导致正则条件不满足，CRLB不适用。

CRLB的主要局限包括：仅适用于满足严格正则条件的模型——许多常见分布可能不满足；不保证存在实际能达到下界的估计量，仅提供理论下限；下界仅适用于无偏估计量，对有偏估计量需将CRLB推广为$Var(\hat{\theta}) \ge [1+b'(\theta)]^2/I(\theta)$，允许偏差-方差之间的权衡；在多参数情形下需推广为Fisher信息矩阵形式。CRLB的价值在于为统计推断提供了一个理论基准——尽管理论上完美但实践中需结合具体分布特性与渐近理论进行综合评估。

尽管存在局限，CRLB作为参数估计理论的基础工具，与充分统计量理论、一致最小方差无偏估计量（UMVUE）概念以及似然方法密切相关，是理解极大似然估计渐近有效性质的理论基础。