估计理论

估计理论 (Estimation Theory)

估计理论是数理统计学与统计推断的核心分支，研究如何根据观测到的样本数据对未知的总体参数或分布特征进行推断的理论体系。作为连接样本信息与总体规律的桥梁，估计理论为计量经济学、生物统计学、信号处理和机器学习等领域提供了方法论基础。其基本框架始于20世纪初罗纳德·费舍尔等人的奠基性工作，并在后续发展中形成了完整的公理体系。

核心概念与基本框架

估计理论中需明确两个基本集合。参数空间 $\Theta$ 是所有可能真实参数值的集合，如在正态总体中，已知方差时 $\Theta = \mathbb{R}$，均值和方差均未知时 $\Theta = \mathbb{R} \times (0, +\infty)$。样本空间 $\mathcal{X}$ 是所有可能样本观测结果的集合，容量 $n$ 的随机样本对应 $n$ 维乘积空间。必须严格区分估计量与估计值：估计量是样本函数 $\hat{\theta} = T(X_1, \ldots, X_n)$，为随机变量，在观测数据获得前具有抽样分布；估计值是将具体观测数据代入后得到的确定数值 $\hat{\theta}(x_1, \ldots, x_n)$。这一区分对理解估计量的随机性质和评价标准至关重要。

估计量的基本性质

无偏性要求 $E[\hat{\theta}] = \theta$ 对所有 $\theta \in \Theta$ 成立，即估计量在重复抽样下不产生系统性偏差，长期平均意义上命中目标。无偏性非绝对要求，有偏但方差更小的估计量可能具有更优的均方误差。

有效性指在所有无偏估计量中方差最小者为有效估计量，即一致最小方差无偏估计量（UMVUE）。有效性与克拉美-罗下界（CRLB）密切相关，后者为无偏估计量方差提供理论下界，达到该下界的为有效估计量。

一致性要求在大样本下 $\hat{\theta}_n \xrightarrow{P} \theta$（当 $n \to \infty$），估计量依概率收敛于真实参数值。更强的形式包括几乎必然一致性和均方一致性。一致性保证大样本下估计的可靠性，是估计量最基本的优良性质之一。

充分性指统计量 $T$ 在给定 $T$ 取值后样本的条件分布不依赖参数 $\theta$。根据因子分解定理，充要条件为似然函数可分解为 $L(\theta; x) = g(T(x), \theta) \cdot h(x)$。充分统计量提取了样本中关于参数的全部信息，实现有效数据降维。

主要估计方法

矩估计法是最古老的方法，用样本矩替代总体矩求解参数估计：$\hat{\theta} = g(m_1, m_2, \ldots)$，其中 $m_k$ 为第 $k$ 阶样本矩。其优点为直观且计算简单，但在许多情况下效率低于极大似然估计。

极大似然估计（MLE）是现代主流方法，最大化似然函数 $L(\theta; x) = \prod f(x_i; \theta)$ 或其对数 $\ell(\theta; x) = \sum \log f(x_i; \theta)$。MLE具有优良的渐近性质，包括渐近正态、渐近有效（渐近方差达到CRLB）、一致性和函数变换不变性。计算上常需求解得分方程 $\partial \ell/\partial \theta = 0$。

贝叶斯估计结合先验分布和后验分布：最大后验估计（MAP）最大化后验概率 $\pi(\theta|x) \propto L(\theta; x)\pi(\theta)$，后验均值最小化平方损失。在均方误差准则下贝叶斯估计通常优于无偏估计，但需主观先验选择。不同估计方法各有适用范围，矩法适用于简单模型与大样本，MLE适用于参数模型，贝叶斯方法适用于小样本和强先验信息情境。估计方法的选择需基于问题结构（参数空间、样本量和分布假设）和应用需求（偏差容忍度、计算复杂度）进行综合权衡。