KNOWECON WIKI

ARTICLE

费雪信息矩阵

费雪信息矩阵（Fisher Information Matrix，FIM）是数理统计中的一个核心概念，由英国统计学家罗纳德·费雪于20世纪20年代提出。它度量了一个随机样本所包含的关于未知参数的信息量。具体而言，费雪信息矩阵衡量的是观测数据的似然函数对参数变化的敏感程度：似然函数越"陡峭"，参数的估计就越精确，信息量也就越大。对于多参数模型，费雪信息矩阵是一

浏览 6 更新 2025-11-08

费雪信息矩阵（Fisher Information Matrix，FIM）是数理统计中的一个核心概念，由英国统计学家罗纳德·费雪于20世纪20年代提出。它度量了一个随机样本所包含的关于未知参数的信息量。具体而言，费雪信息矩阵衡量的是观测数据的似然函数对参数变化的敏感程度：似然函数越"陡峭"，参数的估计就越精确，信息量也就越大。对于多参数模型，费雪信息矩阵是一个对称半正定矩阵，其每个元素刻画了不同参数之间在信息层面上的交叉关系。这一概念是统计推断理论的基石，在参数估计、实验设计、机器学习以及信息几何等领域中发挥着根本性作用。

1. 从直观理解到数学定义

直观上，费雪信息的核心思想可以用"山峰的陡峭程度"来类比。假设我们站在一座山上寻找最高点，如果山峰非常尖锐（即似然函数在真值附近非常陡峭），那么我们很容易精确地定位最高点，这对应于参数估计的方差很小；反之，如果山顶非常平缓，则很难确定确切位置，参数估计的方差就会很大。费雪信息正是量化了这种"陡峭程度"。

数学上，设一个参数模型由概率密度函数 f(x;θ) f(x; \theta) 描述，其中 θ∈Rp \theta \in \mathbb{R}^p 是待估参数向量。得分函数（Score Function）定义为对数似然函数对参数的一阶导数：

s(θ;x)=∂∂θlog⁡f(x;θ)s(\theta; x) = \frac{\partial}{\partial \theta} \log f(x; \theta)

在正则条件下，得分函数的期望值为零，即 E[s(θ;X)]=0 \mathbb{E}[s(\theta; X)] = 0 。费雪信息矩阵 I(θ) I(\theta) 定义为得分函数的协方差矩阵：

I(θ)=E[s(θ;X)s(θ;X)⊤]=E[(∂log⁡f∂θ)(∂log⁡f∂θ)⊤]I(\theta) = \mathbb{E}\left[ s(\theta; X) s(\theta; X)^\top \right] = \mathbb{E}\left[ \left(\frac{\partial \log f}{\partial \theta}\right)\left(\frac{\partial \log f}{\partial \theta}\right)^\top \right]

在二阶可微的条件下，存在一种更便于计算的形式：

[I(θ)]ij=−E[∂2∂θi∂θjlog⁡f(X;θ)][I(\theta)]_{ij} = -\mathbb{E}\left[ \frac{\partial^2}{\partial \theta_i \partial \theta_j} \log f(X; \theta) \right]

即费雪信息矩阵等于对数似然的负期望海森矩阵（Hessian Matrix）。这个形式直接建立了信息量与似然函数曲率之间的联系：曲率越大，费雪信息越大，参数估计越精确。

2. 核心性质

费雪信息矩阵拥有一系列重要的性质，使其成为统计推断中不可或缺的工具。

一、半正定性

费雪信息矩阵 I(θ) I(\theta) 是对称半正定矩阵。这一性质表明，任何线性组合 α⊤I(θ)α≥0 \alpha^\top I(\theta) \alpha \geq 0 始终成立，意味着参数空间中的任何方向上都包含非负的信息量。严格正定时，I(θ) I(\theta) 可逆，此时参数的估计精度在各方向上都有保障。

二、可加性

若观测值 X1,…,Xn X_1, \dots, X_n 独立同分布于 f(x;θ) f(x; \theta) ，则整个样本的费雪信息矩阵是单次观测信息矩阵的 n n 倍：

In(θ)=nI1(θ)I_n(\theta) = n I_1(\theta)

这一性质直接反映了信息随样本量线性增长的直觉：样本量越大，信息越多，估计越精确。其深层原因在于独立观测的对数似然可分解为各观测对数似然之和，求导后交叉项的期望为零。

三、参数变换下的不变性（信息度量意义）

对于参数的可逆变换 ψ=g(θ) \psi = g(\theta) ，变换后的费雪信息矩阵由链式规则给出：

I(ψ)=(Jg−1)⊤I(θ)Jg−1I(\psi) = (J_g^{-1})^\top I(\theta) J_g^{-1}

其中 Jg J_g 是变换 g g 的雅可比矩阵。这一性质体现的是统计流形上的内积结构在不同坐标系下的变换方式。对于非线性变换，信息量会随变换的"拉伸"或"压缩"而调整，确保了信息度量的几何一致性。

四、充分统计量的信息保持

若 T(X) T(X) 是参数 θ \theta 的充分统计量，则 T T 的费雪信息矩阵与原始数据 X X 的信息矩阵完全相同。这是因为充分统计量已经包含了关于参数的全部信息，基于充分统计量进行推断不会损失信息。这一性质通过因子分解定理可以严格证明。

3. 克拉美-罗下界

费雪信息矩阵最重要的应用之一是克拉美-罗下界（Cramér-Rao Lower Bound，CRLB）。该定理指出：在正则条件下，参数 θ \theta 的任意无偏估计量 θ^ \hat{\theta} 的协方差矩阵满足矩阵不等式：

Cov(θ^)≥I(θ)−1\text{Cov}(\hat{\theta}) \geq I(\theta)^{-1}

这里的不等式关系是指矩阵差 Cov(θ^)−I(θ)−1 \text{Cov}(\hat{\theta}) - I(\theta)^{-1} 为半正定矩阵。这意味着费雪信息矩阵的逆矩阵是无偏估计量协方差矩阵的下界。能够达到这一下界的估计量被称为有效估计量（Efficient Estimator），在统计意义上是最优的。

克拉美-罗下界的直观含义极为深刻：统计推断的精度存在一个不可逾越的"物理极限"，而费雪信息矩阵给出了这一极限的具体度量。在独立同分布样本下，由于 In(θ)=nI1(θ) I_n(\theta) = n I_1(\theta) ，CRLB 表明所有无偏估计量的方差至少以 1/n 1/n 的量级衰减，其衰减常数的下限正是 I1(θ)−1 I_1(\theta)^{-1} 。这解释了为什么深度学习中的参数估计不能比 1/n 1/\sqrt{n} 更快地收敛。

对于有偏估计量，存在推广形式的克拉美-罗不等式，即巴塔查里亚界（Bhattacharyya Bound），其形式更为复杂，但使用的仍然是费雪信息矩阵作为核心度量工具。

4. 在统计推断中的应用

费雪信息矩阵在统计学的多个分支中扮演着核心角色。

一、最大似然估计的渐近分布

在正则条件下，最大似然估计量 θ^MLE \hat{\theta}_{\text{MLE}} 具有渐近正态性：

n(θ^MLE−θ0)→dN(0,I1(θ0)−1)\sqrt{n}(\hat{\theta}_{\text{MLE}} - \theta_0) \xrightarrow{d} \mathcal{N}(0, I_1(\theta_0)^{-1})

这意味着对于大样本，MLE的分布近似于以真值为中心的正态分布，其方差由费雪信息矩阵的逆矩阵决定。这是进行假设检验和构造置信区间的基础。

二、沃尔德检验与得分检验

沃尔德检验（Wald Test）使用MLE的渐近方差构造检验统计量，其形式为 W=(θ^−θ0)⊤I(θ^)(θ^−θ0) W = (\hat{\theta} - \theta_0)^\top I(\hat{\theta})(\hat{\theta} - \theta_0) 。得分检验（Score Test，也称拉格朗日乘子检验）则直接在原假设下评估得分函数的大小，统计量为 S=s(θ0)⊤I(θ0)−1s(θ0) S = s(\theta_0)^\top I(\theta_0)^{-1} s(\theta_0) 。两种检验均以费雪信息矩阵为核心构成检验统计量，且在局部备择下具有等价的渐近功效。

三、实验设计中的D-最优性

在实验设计中，费雪信息矩阵常用于评估实验方案的优劣。D-最优设计（D-optimal Design）通过最大化信息矩阵的行列式 det⁡(I(θ)) \det(I(\theta)) 来选择实验条件，以最小化参数联合置信椭球的体积。其他准则如A-最优（最小化迹）、E-最优（最大化最小特征值）等也都是信息矩阵的不同函数。这些方法广泛用于临床试验、工业工程和环境监测等领域。

四、AIC与模型选择

赤池信息准则（Akaike Information Criterion，AIC）虽然表面上看是似然函数与参数数量的简单组合，但从信息论角度分析，其推导过程与费雪信息矩阵有着深刻的联系。AIC的核心补偿项（k k ，参数个数）源自于在模型接近正确的假设下，MLE的渐近偏差恰好等于费雪信息矩阵的迹乘以参数个数这一事实。

5. 与信息几何的联系

费雪信息矩阵不仅是统计推断的工具，还在信息几何（Information Geometry）中被赋予了深刻的几何内涵。统计流形（Statistical Manifold）是一种以参数 θ \theta 为坐标的抽象空间，其上的黎曼度量（Riemannian Metric）正是费雪信息矩阵 I(θ) I(\theta) 。这意味着沿着统计流形的"距离"，即不同分布之间的差异，是由费雪信息矩阵定义的。

这种几何视角下，两个概率分布 f(x;θ1) f(x; \theta_1) 和 f(x;θ2) f(x; \theta_2) 之间的散度在小距离近似下与费雪信息矩阵紧密相关。具体而言，Kullback-Leibler散度的二阶泰勒展开由费雪信息矩阵给出：

KL(fθ∥fθ+δ)≈12δ⊤I(θ)δ\text{KL}(f_{\theta} \parallel f_{\theta+\delta}) \approx \frac{1}{2} \delta^\top I(\theta) \delta

这表明费雪信息矩阵是KL散度在参数空间局部曲率的信息论度量。这一事实在自然梯度下降（Natural Gradient Descent）中得到了直接应用——通过在参数更新时利用费雪信息矩阵调整步长方向，可以更好地适应统计流形的曲率，从而加速收敛。自然梯度法在深度学习中有着重要应用，特别是在强化学习的策略梯度算法中表现突出。

此外，指数族分布的费雪信息矩阵恰好等于其协方差矩阵，这揭示了指数族在信息几何中的特殊地位——其统计流形是平坦的（d' Ambert-Chentsov定理），从而允许使用更丰富的几何工具进行分析。

6. 局限性

尽管费雪信息矩阵的理论地位极为重要，但在实际应用中也面临若干局限性。其一，期望值通常涉及复杂的积分计算，对于高维模型或非标准分布，解析计算往往不可行，需要借助数值方法或蒙特卡洛近似。其二，当模型的可识别性条件不满足时，费雪信息矩阵可能非满秩（奇异），此时其逆矩阵不存在，克拉美-罗下界失效。这种情况在混合模型、神经网络等高度参数化的模型中尤为常见，需要借助正则化、低秩近似或贝叶斯方法处理。其三，费雪信息矩阵依赖于真实参数值 θ0 \theta_0 ，而在实际应用中只能使用估计值代入，由此得到的估计信息矩阵（Observed Fisher Information）与实际信息之间存在偏差，虽然在大样本下该偏差可忽略，但在小样本环境下需要谨慎对待。其四，费雪信息仅捕捉局部信息（参数真值附近的曲率），对全局参数结构的信息刻画有限。

此外，在频域分析和时间序列模型中，需要引入Whittle似然等工具计算渐近费雪信息矩阵。在缺失数据情境下，期望-最大化算法中的缺失信息准则也与费雪信息矩阵的分解密切相关，即完备数据的信息矩阵减去缺失数据的信息矩阵，这一结构在计算实践中被广泛利用。