克拉默-拉奥下界

克拉默-拉奥下界 (CRLB)

CRLB由克拉默和拉奥1940s独立提出→为任意确定性参数无偏估计量的方差提供理论最小值。达CRLB称有效估计量（无偏约束下最优）。

正式表述：$\mathrm{Var}(\hat{\theta})\ge 1/I_n(\theta)$。$I_n(\theta)$为样本容量n的费雪信息。单次观测信息：$I(\theta)=E[(\partial\ln f(X;\theta)/\partial\theta)^2]=-E[\partial^2\ln f(X;\theta)/\partial\theta^2]$（二阶导期望负数→似然曲率→"尖锐"则信息大）。i.i.d.可加性：$I_n(\theta)=n\cdot I(\theta)$→CRLB=$\mathrm{Var}(\hat{\theta})\ge 1/(nI(\theta))$→n越大界越低→样本越多估越准。

正则性条件：参数空间开集；支撑集与$\theta$无关（如$U[0,\theta]$不满足）；对数似然一二阶导存在；积分微分可交换（得分期望为零）。

示例：正态均值

$X_i\sim N(\mu,\sigma^2)$，$\sigma^2$已知→估$\mu$。对数似然：$\ln f=-\frac{1}{2}\ln(2\pi\sigma^2)-(x-\mu)^2/(2\sigma^2)$。二阶导$\partial^2\ln f/\partial\mu^2=-1/\sigma^2$。$I(\mu)=-E[-1/\sigma^2]=1/\sigma^2$→$I_n(\mu)=n/\sigma^2$→CRLB=$\sigma^2/n$。

样本均值$\bar{X}$：无偏（$E[\bar{X}]=\mu$）→$\mathrm{Var}(\bar{X})=\sigma^2/n$=CRLB→$\bar{X}$是$\mu$的有效估计量。

推广与局限

多参数→费雪信息矩阵 $[I(\boldsymbol{\theta})]_{ij}=E[\partial_i\ln f\cdot\partial_j\ln f]$→协方差矩阵$\mathrm{Cov}(\hat{\boldsymbol{\theta}})\ge[I_n(\boldsymbol{\theta})]^{-1}$→差值半正定。重要性：性能基准黄金标准（信号处理/通信/计量经济学）；MLE大样本渐近达CRLB（渐近有效）。局限：仅适用无偏估计量（有偏但均方误差更小可能更优）；不保证有限样下可达；正则性不满足→不适或需修。