参数推断

参数推断 (Parameter Inference)

参数推断（Parameter Inference）是数理统计的核心分支之一，指利用样本数据对总体分布中未知参数进行估计与检验的过程。参数推断的数学基础建立在概率论之上，其基本假设是总体服从某一已知形式的分布族（如正态分布、泊松分布、指数分布、二项分布等），而分布中的某些参数（如均值 $\mu$、方差 $\sigma^2$、成功概率 $p$、率参数 $\lambda$ 等）未知，需要通过样本观测值加以推断。参数推断主要包含三个紧密关联的领域：点估计、区间估计和假设检验，三者共同构成了统计推断的完整框架。此外，贝叶斯参数推断作为另一种重要的推断范式，近年来在理论与应用中均取得了显著发展。

参数推断与 extbf{描述统计}有本质区别：描述统计仅对样本数据进行归纳整理（如计算样本均值、样本方差、绘制直方图等），而参数推断的目标是通过样本特征反推总体特征，并量化推断的不确定性。这种从局部到整体的思维方式是统计学的精髓所在。在实际应用中，参数推断的核心问题可归纳为：给定一组来自未知总体的观测数据，如何尽可能精确地估计总体参数，并评估估计的可靠性？

点估计

点估计是参数推断最基本的形式，旨在构造一个统计量 $\hat{\theta} = T(X_1, X_2, \dots, X_n)$ 作为未知参数 $\theta$ 的单一最佳猜测值。常用的点估计方法包括矩估计法（Method of Moments）和极大似然估计法（Maximum Likelihood Estimation, MLE）。矩估计法由 Karl Pearson 于 1894 年提出，其核心思想是将样本矩与总体矩相等，即令 $E[X^k] = \frac{1}{n}\sum_{i=1}^n X_i^k$ 对于若干 $k$ 值成立，从而解出参数估计值。极大似然估计法由 R. A. Fisher 在 1912–1922 年间系统发展，通过最大化似然函数 $L(\theta; \mathbf{X}) = \prod_{i=1}^n f(X_i; \theta)$ 来获得参数的估计值。在实际计算中，通常对似然函数取对数得到对数似然函数 $\ell(\theta) = \ln L(\theta)$，然后求解似然方程 $\frac{\partial \ell}{\partial \theta} = 0$。MLE 在正则条件下具有一致性、渐近正态性和渐近有效性等优良性质。

点估计的优劣需通过若干准则进行评价：无偏性（Unbiasedness）要求 $E[\hat{\theta}] = \theta$，即估计量的期望等于参数真值；有效性（Efficiency）通过 Cramér-Rao 下界（CRLB）衡量估计量的最小方差，CRLB 的表达式为 $\text{Var}(\hat{\theta}) \geq \frac{1}{n I(\theta)}$，其中 $I(\theta)$ 为 Fisher 信息量；一致性（Consistency）要求当样本量 $n \to \infty$ 时，$\hat{\theta}$ 依概率收敛于 $\theta$；充分性（Sufficiency）关注统计量是否浓缩了样本中关于参数的全部信息，由 Fisher-Neyman 因子分解定理判定。常见的点估计量包括样本均值 $\bar{X}$ 用于估计总体均值、样本方差 $S^2$ 用于估计总体方差、样本比例 $\hat{p}$ 用于估计总体比例等，这些估计量在随机抽样下均具有无偏性或渐近无偏性。

区间估计

点估计无法反映估计的精度与不确定性，区间估计则弥补了这一不足。区间估计构造一个包含参数真值的随机区间 $[\hat{\theta}_L, \hat{\theta}_U]$，使得该区间以某一置信水平 $1 - \alpha$ 覆盖真实参数值。经典方法包括枢轴量法（Pivotal Quantity Method），即构造一个分布已知且不依赖于未知参数的函数 $Q(\mathbf{X}, \theta)$，进而反解出参数的置信区间。例如，对于正态总体 $N(\mu, \sigma^2)$，当方差已知时，利用枢轴量 $Z = \frac{\bar{X} - \mu}{\sigma/\sqrt{n}} \sim N(0, 1)$ 可构造 $\mu$ 的置信区间为 $\left[\bar{X} - z_{\alpha/2}\frac{\sigma}{\sqrt{n}},\ \bar{X} + z_{\alpha/2}\frac{\sigma}{\sqrt{n}}\right]$；当方差未知时，则以 $t_{n-1}$ 分布替代标准正态分布，构造基于 $t$ 统计量的置信区间。对于方差 $\sigma^2$ 的区间估计，枢轴量 $\frac{(n-1)S^2}{\sigma^2} \sim \chi^2_{n-1}$ 提供了构造方法。置信区间的长度反映了估计的精确度，长度越短意味着估计越精确，但在固定样本量下，置信水平与区间长度之间存在此消彼长的权衡关系。在实际应用中，常用的置信水平包括 90\%、95\% 和 99\%，对应的临界值 $z_{\alpha/2}$ 分别为 1.645、1.960 和 2.576。理解置信区间与样本量之间的关系至关重要：样本量每增加四倍，区间长度约减半。

假设检验

假设检验是参数推断的另一重要分支，由 Jerzy Neyman 和 Egon Pearson 在 1928–1933 年间系统化。其基本框架是提出原假设 $H_0$ 和备择假设 $H_1$，基于样本构造检验统计量，在给定显著性水平 $\alpha$ 下决定是否拒绝 $H_0$。假设检验中存在两类错误：第一类错误（Type I Error）指原假设为真时拒绝原假设，其概率记为 $\alpha$；第二类错误（Type II Error）指原假设为假时未能拒绝原假设，其概率记为 $\beta$。检验的功效（Power）定义为 $1 - \beta$，即正确拒绝虚假原假设的概率。Neyman-Pearson 引理给出了在简单假设下最优检验（最大功效检验）的构造方法，即似然比检验。在复合假设情形下，常用的检验方法包括似然比检验（Likelihood Ratio Test）、Wald 检验和 Score 检验（又称 Lagrange Multiplier 检验），三者在大样本下渐近等价。具体应用中，$t$ 检验用于均值比较，$F$ 检验用于方差分析和回归模型整体显著性检验，卡方检验用于分类数据的拟合优度和独立性检验。

贝叶斯参数推断

与经典频率学派不同，贝叶斯参数推断（Bayesian Inference）将参数视为随机变量，赋予其先验分布 $p(\theta)$，并利用贝叶斯定理更新为后验分布 $p(\theta | \mathbf{X}) \propto p(\mathbf{X} | \theta) p(\theta)$。先验分布的选择反映了对参数的主观先验知识或信念，常见的先验包括共轭先验（Conjugate Prior）和无信息先验（Non-informative Prior）。贝叶斯方法在参数估计中提供完整的后验分布信息，而非单一的点估计或区间估计，特别适用于小样本场景和复杂分层模型。后验均值、后验中位数和后验众数均可作为贝叶斯点估计，后验分位数区间则提供贝叶斯可信区间（Credible Interval），其解释与频率学派的置信区间有本质区别。随着 Markov Chain Monte Carlo（MCMC）算法（如 Metropolis-Hastings 算法和 Gibbs 采样）的普及，贝叶斯参数推断在现代统计学中发挥着日益重要的作用，广泛应用于机器学习、生物信息学和计量经济学等领域。