费雪-奈曼分解定理_(Fisher-Neyman_Factorization_Theorem)

费雪-奈曼分解定理 (Fisher-Neyman Factorization Theorem)

费雪-奈曼分解定理是数理统计学中关于点估计理论的基石性成果。该定理为判断一个统计量是否为充分统计量提供了简洁的充要条件。充分性意味着一个统计量已从样本中提取了关于未知参数的全部信息。该定理由费雪最早提出思想雏形，奈曼在1935年给出严格数学证明。

定理的正式表述

设 $X_1, X_2, \dots, X_n$ 来自概率分布 $f(x\mid\theta)$ ，其中 $\theta$ 为未知参数。统计量 $T(X)$ 是 $\theta$ 的充分统计量，当且仅当样本的联合概率函数可分解为：

f(x_1, \dots, x_n\mid\theta) = g(T(x_1, \dots, x_n)\mid\theta) \cdot h(x_1, \dots, x_n)

其中：

函数 $g$ 依赖于数据仅通过 $T$ 的值，并可依赖于 $\theta$ ——捕捉所有关于 $\theta$ 的信息
函数 $h$ 只依赖于样本数据，但不依赖于 $\theta$ ——对于推断 $\theta$ 不提供信息

核心思想

该定理将信息分离为“信号”与“噪声”：

$g(T\mid\theta)$ 扮演“信号”角色，将所有关于 $\theta$ 的信息浓缩到 $T$ 中
$h(x_1, \dots, x_n)$ 扮演“噪声”角色，在似然函数中只是比例因子，进行最大似然估计时可忽略

应用步骤

写出联合概率函数（i.i.d.样本的似然函数）： $L(\theta \mid x_1, \dots, x_n) = \prod_{i=1}^{n} f(x_i\mid\theta)$
代数变形：展开、合并、分离含 $\theta$ 和不含 $\theta$ 的项
识别 $g$ 函数（通过样本函数 $T$ 与 $\theta$ 关联）和 $h$ 函数（不含 $\theta$ ）
成功分解则 $T$ 为充分统计量

经典应用示例

伯努利分布 $Bern(p)$ ： $f(x\mid p) = p^x(1-p)^{1-x}$

f(\mathbf{x}\mid p) = \prod_{i=1}^{n} p^{x_i}(1-p)^{1-x_i} = \underbrace{p^T (1-p)^{n-T}}_{g(T\mid p)} \cdot \underbrace{1}_{h(\mathbf{x})}

其中 $T = \sum X_i$ 。 $T$ 是 $p$ 的充分统计量。

正态分布（ $\sigma^2$ 已知， $\mu$ 未知）：

f(\mathbf{x}\mid\mu) = \underbrace{\exp\left(\frac{2\mu \sum x_i - n\mu^2}{2\sigma^2}\right)}_{g} \cdot \underbrace{(2\pi\sigma^2)^{-n/2} \exp\left(-\frac{\sum x_i^2}{2\sigma^2}\right)}_{h}

$T = \sum X_i$ 是 $\mu$ 的充分统计量。样本均值 $\bar{X}$ 同样是充分统计量。

均匀分布 $U(0, \theta)$ ：需使用示性函数

f(\mathbf{x}\mid\theta) = \underbrace{\left(\frac{1}{\theta}\right)^n \mathbb{I}(\max(x_i) \le \theta)}_{g(T\mid\theta)} \cdot \underbrace{\mathbb{I}(\min(x_i) \ge 0)}_{h(\mathbf{x})}

样本最大值 $X_{(n)}$ 是 $\theta$ 的充分统计量。

扩展到多参数情况

定理可推广到参数向量 $\boldsymbol{\theta} = (\theta_1, \dots, \theta_k)$ ，寻找向量形式的联合充分统计量 $\mathbf{T}(\mathbf{X})$ 。例如正态分布 $(\mu, \sigma^2)$ 均未知时 $(\sum X_i, \sum X_i^2)$ 是联合充分统计量。

理论意义

数据压缩：充分统计量可以无损压缩高维原始样本，而不损失任何参数推断信息
拉奥-布莱克韦尔定理：找到充分统计量是应用该定理寻找最优无偏估计量的第一步
指数族分布：指数族分布的概率函数具有天然的分解形式，使寻找充分统计量变得简单

返回百科索引