KNOWECON WIKI

ARTICLE

似然信息

似然信息 (Likelihood Information) 似然信息 (Likelihood Information) 是 统计学 与 计量经济学 中的核心概念，描述样本数据所携带的关于未知参数 的信息量。它由 似然函数 L( x) = f(x ) 所刻画，其中 f(x ) 为样本的联合概率密度（或概率质量）函数。似然函数的关键特征在于将数据 x 视为固定（

浏览 0 更新 2025-12-15

似然信息 (Likelihood Information)

似然信息 (Likelihood Information) 是 统计学 与 计量经济学 中的核心概念，描述样本数据所携带的关于未知参数 θ\theta 的信息量。它由 似然函数 L(θ∣x)=f(x∣θ)L(\theta \mid x) = f(x \mid \theta) 所刻画，其中 f(x∣θ)f(x \mid \theta) 为样本的联合概率密度（或概率质量）函数。似然函数的关键特征在于将数据 xx 视为固定（已观测），而将参数 θ\theta 视为变量。

似然与概率的区别

概率函数 f(x∣θ)f(x \mid \theta) 回答"给定参数 θ\theta，数据 xx 出现的可能性有多大"；似然函数 L(θ∣x)L(\theta \mid x) 则反过来追问"给定已观测数据 xx，不同参数值 θ\theta 的合理程度如何"。二者在数学形式上相同，但解释方向截然相反。这一区分是 似然原则 (Likelihood Principle) 的基础：关于参数 θ\theta 的所有证据均包含在似然函数中，实验设计本身不提供额外信息。

Fisher 信息

Fisher信息 (Fisher Information) 是对似然信息的最重要量化指标。一维参数 θ\theta 的 Fisher 信息定义为对数似然函数二阶导数的负期望：

I(θ)=−E[∂2∂θ2log⁡L(θ∣X)]I(\theta) = -E\left[\frac{\partial^2}{\partial \theta^2} \log L(\theta \mid X)\right]

I(θ)I(\theta) 越大，表明似然函数在真值附近越尖锐，数据包含的信息量越丰富。多维参数 θ∈Rk\theta \in \mathbb{R}^k 则推广为 Fisher 信息矩阵：

I(θ)ij=−E[∂2∂θi∂θjlog⁡L(θ∣X)]\mathcal{I}(\theta)_{ij} = -E\left[\frac{\partial^2}{\partial \theta_i \partial \theta_j} \log L(\theta \mid X)\right]

其等价定义基于 得分函数 (Score Function) s(θ)=∂∂θlog⁡L(θ∣X)s(\theta) = \frac{\partial}{\partial \theta} \log L(\theta \mid X) 的方差：I(θ)=Var(s(θ))I(\theta) = \mathrm{Var}(s(\theta))。在正则条件下 E[s(θ)]=0E[s(\theta)] = 0，得分函数的波动幅度反映数据区分相邻参数值的能力。

Cramér-Rao 下界

似然信息直接约束参数估计的精度极限。Cramér-Rao下界 (Cramér-Rao Lower Bound) 指出：在正则条件下，任意无偏估计量 θ^\hat{\theta} 的方差满足

Var(θ^)≥1I(θ)\mathrm{Var}(\hat{\theta}) \ge \frac{1}{I(\theta)}

此不等式揭示了 Fisher 信息的本质：信息量越大，参数估计的最小可能方差越小。达到该下界的估计量称为 有效估计量 (Efficient Estimator)，最大似然估计 (MLE) 在大样本下渐近有效。

似然比检验

似然比检验 (Likelihood Ratio Test) 是似然信息的直接应用。检验统计量：

Λ=−2log⁡L(θ^0∣x)L(θ^∣x)\Lambda = -2 \log \frac{L(\hat{\theta}_0 \mid x)}{L(\hat{\theta} \mid x)}

其中 θ^0\hat{\theta}_0 为零假设约束下的 MLE，θ^\hat{\theta} 为无约束 MLE。在 H0H_0 下，Wilks 定理保证 Λ→dχ2\Lambda \xrightarrow{d} \chi^2。该检验广泛应用于计量经济模型选择，如嵌套模型的显著性检验。

计量经济学中的应用

在 线性回归 框架下，参数的 Fisher 信息矩阵决定估计量的协方差矩阵；在 面板数据、广义矩估计 (GMM) 与 贝叶斯统计 中，似然信息是推断的核心基础。对于 Logit模型、Probit模型 等离散选择模型，似然函数的构造与信息矩阵的优化是估计过程的关键步骤。

记忆要点：似然信息通过 Fisher 信息量化、Cramér-Rao 下界约束精度，并通过似然比检验支持统计决策。其核心——将数据视为给定、参数视为变量——是 频率学派 统计推断的基石。