费雪信息

费雪信息 (Fisher Information)

费雪信息由费雪提出→量化随机变量观测值含多少关于分布未知参数的信息。高→数据对参数微小变化敏感→可做精确估计；低→对参数变化不敏感→估计不确定性大。

得分函数：对数似然关于$\theta$一阶导→$S(\theta)=\partial\log f(X;\theta)/\partial\theta$。在正则性条件下→$E[S(\theta)]=0$。费雪信息=得分函数方差：$I(\theta)=\mathrm{Var}[S(\theta)]=E[(S(\theta))^2]$→得分波动大→似然对$\theta$敏感→信息多。等价形式（更便算）：$I(\theta)=-E[\partial^2\log f/\partial\theta^2]$→几何直观：对数似然峰值处曲率→曲率越大峰越锐→信息越大。

关键性质

非负性$I\ge0$（方差特性）。可加性：n个独立同分布观测→$I_n(\theta)=n\cdot I_1(\theta)$（数据多→信息多）。重参数化：$\eta=g(\theta)$→$I_\eta(\eta)=I_\theta(\theta)(d\theta/d\eta)^2$。充分性：若T为充分统计量→基于T的费雪信息=基于原始数据的→信息论证充分统计量确含全部信息。

核心应用

克拉默-拉奥下界(CRLB)：任无偏估计量$\hat{\theta}$→$\mathrm{Var}(\hat{\theta})\ge 1/I(\theta)$→设定所有无偏估计量精度理论极限→达CRLB的称有效估计量。

MLE渐近论：大样本下$\sqrt{n}(\hat{\theta}_{\mathrm{MLE}}-\theta)\xrightarrow{d}N(0,1/I_1(\theta))$（渐进无偏+方差达CRLB→依分布收敛）→可用费雪信息构建置信区间和假设检验。

实验设计：选实验条件最大化数据中费雪信息→用最少资源获最精确估计。

示例：伯努利

$f(x;p)=p^x(1-p)^{1-x}$。得分$\partial\ell/\partial p=x/p-(1-x)/(1-p)$。二阶导$\partial^2\ell/\partial p^2=-x/p^2-(1-x)/(1-p)^2$。$I(p)=-E[\partial^2\ell/\partial p^2]=E[X]/p^2+E[1-X]/(1-p)^2=1/p+1/(1-p)=1/[p(1-p)]$。p=0.5→分母最大0.25→$I$最小4（最不确定→单观测信息少）；p→0或1→分母趋0→$I$趋∞（极端概率下偶观"成功"极大更新认知）。

多元：费雪信息矩阵

参数$\boldsymbol{\theta}\in\mathbb{R}^k$→费雪信息矩阵FIM：$[I(\boldsymbol{\theta})]_{ij}=-E[\partial^2\log f/\partial\theta_i\partial\theta_j]$（k×k对称）。CRLB推广：$\mathrm{Cov}(\hat{\boldsymbol{\theta}})\ge[I(\boldsymbol{\theta})]^{-1}$→$\mathrm{Cov}-I^{-1}$为半正定。