C-R下界

C-R下界 (Cramér-Rao Lower Bound)

C-R下界（Cramér-Rao Lower Bound, CRLB），又称克拉美-罗下界或克拉美-罗不等式，是数理统计和估计理论中的一个基本定理。它为任何一个未知参数的无偏估计量的方差设定了一个理论上的下限——简单来说，C-R下界告诉我们在现有的数据信息下估计某个参数的精确度最高能达到多少。如果一个估计量的方差达到了这个下界，我们就称它是有效估计量。

定理的表述与费希尔信息量

设$X = (X_1, \ldots, X_n)$是来自概率密度函数$f(x; \theta)$的随机样本，$\hat{\theta}$是$\theta$的无偏估计量。在满足正则条件下，$\hat{\theta}$的方差不低于$1/I_n(\theta)$，其中$I_n(\theta)$为费希尔信息量——衡量样本数据中包含的关于参数$\theta$的信息量。对于独立同分布样本，$I_n(\theta) = n \cdot I(\theta)$，其中$I(\theta)$是单个观测值的费希尔信息量。由此公式揭示了直观原理：样本量越大估计下界越小、潜在精度越高；单个样本信息量越大下界越小、估计越精确。

费希尔信息量基于对数似然函数的曲率定义。设单样本PDF为$f(x;\theta)$，对数似然为$\ell(\theta; x) = \log f(x;\theta)$，费希尔信息量定义为得分函数的二阶矩：$I(\theta) = E[(\partial \log f(X; \theta)/\partial \theta)^2]$。在正则条件下这等价于对数似然函数二阶导数期望的相反数：$I(\theta) = -E[\partial^2 \log f(X; \theta)/\partial \theta^2]$。直观解释：若对数似然函数在真实参数处非常"尖锐"（二阶导绝对值很大），数据对参数敏感，$I(\theta)$大则方差下界小，可精确估计参数；若对数似然在峰值处非常平坦，则数据提供的信息少，$I(\theta)$小导致方差下界大，难以精确估计。

正则条件与效率评估

C-R下界的成立高度依赖正则条件。最关键的包括：支撑集无关性——PDF为正值的区域不依赖参数$\theta$（反例为均匀分布$U(0, \theta)$，其支撑集依赖参数导致C-R下界不适用）；微分与积分的可交换性——允许在PDF积分下对参数求导，这是通过柯西-施瓦茨不等式建立方差与信息量联系的关键步骤；估计量方差存在且有限。

C-R下界为我们提供了一个评估无偏估计量的黄金标准。定义效率$e(\hat{\theta}) = \text{CRLB} / Var(\hat{\theta}) \le 1$。若$e(\hat{\theta}) = 1$即方差等于C-R下界，则称$\hat{\theta}$为有效估计量。并非所有模型都存在能达到C-R下界的估计量，但大样本下极大似然估计（MLE）通常是渐近有效的。对于参数变换$\tau(\theta)$的估计，C-R下界变为$Var(\hat{\tau}) \ge [\tau'(\theta)]^2 / [n I(\theta)]$。

经典实例为正态分布均值的估计。对于$X_i \sim N(\mu, \sigma^2)$（$\sigma^2$已知），费希尔信息量$I(\mu) = 1/\sigma^2$，$I_n(\mu) = n/\sigma^2$，C-R下界为$\sigma^2/n$。样本均值$\bar{X}$的方差精确等于C-R下界，因此$\bar{X}$是$\mu$的有效估计量——这解释了样本均值在统计学中的基础地位。C-R下界与一致最小方差无偏估计量（UMVUE）理论和渐近理论共同构成了参数估计精度分析的完整框架。