KNOWECON WIKI

ARTICLE

克拉默-拉奥下界

克拉默-拉奥下界 (Cramér-Rao Lower Bound) 克拉默-拉奥下界(CRLB)是数理统计中估计理论的核心定理。它为任意确定性参数的无偏估计量的方差设定了一个理论下界：无论估计方法如何精巧，只要无偏，其方差就不可能低于此界。CRLB因此成为评估估计量性能的黄金基准——达到该下界的无偏估计量称为有效估计量。该理论由瑞典数学家Harald Cra

浏览 55 更新 2025-10-22

克拉默-拉奥下界 (Cramér-Rao Lower Bound)

克拉默-拉奥下界(CRLB)是数理统计中估计理论的核心定理。它为任意确定性参数的无偏估计量的方差设定了一个理论下界：无论估计方法如何精巧，只要无偏，其方差就不可能低于此界。CRLB因此成为评估估计量性能的黄金基准——达到该下界的无偏估计量称为有效估计量。该理论由瑞典数学家Harald Cramér和印度裔美国统计学家Calyampudi Radhakrishna Rao独立提出。

理论陈述

设未知确定性参数 θ\theta，随机样本 X=(X1,…,Xn)X=(X_1,\dots,X_n) 服从参数化分布 f(x;θ)f(x;\theta)。令 θ^(X)\hat{\theta}(X) 为任意无偏估计量，即 E[θ^]=θE[\hat{\theta}]=\theta。在正则性条件下：

Var(θ^)≥1I(θ)\text{Var}(\hat{\theta}) \ge \frac{1}{I(\theta)}

右侧即为CRLB，其中 I(θ)I(\theta) 是费雪信息。

费雪信息 (Fisher Information)

费雪信息 I(θ)I(\theta) 度量样本所含关于 θ\theta 的信息量——信息量越大，估计越精确。对单个观测，定义为Score函数平方的期望：

I(θ)=E[(∂∂θln⁡f(X;θ))2∣θ]I(\theta)=E\left[\left(\frac{\partial}{\partial\theta}\ln f(X;\theta)\right)^2\Big|\theta\right]

正则条件下等价于对数似然二阶导的负期望：

I(θ)=−E[∂2∂θ2ln⁡f(X;θ)∣θ]I(\theta)=-E\left[\frac{\partial^2}{\partial\theta^2}\ln f(X;\theta)\Big|\theta\right]

此形式揭示费雪信息即对数似然函数在 θ\theta 处的曲率：曲率越大，似然峰越尖锐，数据对参数越敏感，信息量越大。对 nn 个独立同分布样本，In(θ)=nI(θ)I_n(\theta)=nI(\theta)，故：

Var(θ^)≥1nI(θ)\text{Var}(\hat{\theta})\ge\frac{1}{nI(\theta)}

样本量 nn 越大，方差下界越小——"数据越多，估计越准"。

有效估计量

若无偏估计量方差恰好等于CRLB，即 Var(θ^)=1/I(θ)\text{Var}(\hat{\theta})=1/I(\theta)，则称有效估计量——它充分利用了样本信息，达到理论最优精度。重要结论：最大似然估计量(MLE)在正则条件下是渐近有效的，即 n→∞n\to\infty 时MLE方差收敛于CRLB。

示例：估计正态均值

设 X1,…,Xn∼N(μ,σ2)X_1,\dots,X_n\sim\mathcal{N}(\mu,\sigma^2) i.i.d.，σ2\sigma^2 已知，估计 μ\mu。单个样本对数似然：

ln⁡f(xi;μ)=−12ln⁡(2πσ2)−(xi−μ)22σ2\ln f(x_i;\mu)=-\frac{1}{2}\ln(2\pi\sigma^2)-\frac{(x_i-\mu)^2}{2\sigma^2}

求二阶导得 ∂2∂μ2ln⁡f=−1σ2\frac{\partial^2}{\partial\mu^2}\ln f=-\frac{1}{\sigma^2}，故 I(μ)=1/σ2I(\mu)=1/\sigma^2，In(μ)=n/σ2I_n(\mu)=n/\sigma^2。CRLB为 σ2/n\sigma^2/n。样本均值 Xˉ\bar{X} 的方差恰为 σ2/n\sigma^2/n，因此样本均值是估计正态均值的有效估计量。

扩展与局限

  • 有偏估计量：经典CRLB仅适用于无偏情形。有偏估计量存在扩展形式——其方差可低于CRLB，但以引入偏差为代价，体现偏差-方差权衡。
  • 多参数推广：同时估计多参数时，费雪信息推广为费雪信息矩阵，其逆矩阵对角元给出各参数方差下界。
  • 正则性条件：CRLB依赖求导与积分可交换等正则条件。对于支撑集依赖参数的分布（如均匀分布），条件不满足，CRLB可能不适用。