估计量的性质

估计量的性质 (Properties of Estimators)

在统计推断中，估计量 (estimator) 是将样本数据映射到估计值的规则或函数。对于同一总体参数，往往可构造多个估计量。评估估计量优劣需依靠一套评价标准——即估计量的性质。

小样本性质 (Finite Sample Properties)

无偏性 (Unbiasedness)

定义：估计量 $\hat{\theta}$ 满足 $E(\hat{\theta}) = \theta$。偏差 (bias) 定义为 $\mathrm{Bias}(\hat{\theta}) = E(\hat{\theta}) - \theta$。无偏意味着“平均而言准确”，不会系统性高估或低估。单次估计几乎总有误差。

示例1：样本均值 $\bar{X} = \frac{1}{n}\sum X_i$ 是总体均值 $\mu$ 的无偏估计量：$E(\bar{X}) = \mu$。

示例2：样本方差 $S^2 = \frac{1}{n-1}\sum (X_i - \bar{X})^2$ 是 $\sigma^2$ 的无偏估计量。分母用 $n$（最大似然估计量）则 $E(\hat{\sigma}^2_{\mathrm{MLE}}) = \frac{n-1}{n}\sigma^2$，系统性低估，是有偏的。

有效性 (Efficiency)

对于两个无偏估计量 $\hat{\theta}_1, \hat{\theta}_2$，若 $\mathrm{Var}(\hat{\theta}_1) < \mathrm{Var}(\hat{\theta}_2)$，则 $\hat{\theta}_1$ 更有效。方差最小的无偏估计量称为最小方差无偏估计量 (MVUE)。克拉默-拉奥下界给出了无偏估计量方差的理论最小值。

示例：正态总体 $N(\mu, \sigma^2)$ 下，$\bar{X}$ 方差为 $\sigma^2/n$，样本中位数方差约为 $1.57\sigma^2/n$。因此 $\bar{X}$ 更有效。

大样本性质 (Asymptotic Properties)

一致性 (Consistency)

估计量 $\hat{\theta}_n$ 随着 $n \to \infty$ 而依概率收敛于真实参数 $\theta$：$\hat{\theta}_n \xrightarrow{p} \theta$。一致性保证数据足够多时估计任意接近真实值。

与无偏性的关系：无偏不代表一致（如 $X_1$ 作为 $\mu$ 估计，无偏但不一致）；一致不代表无偏（如分母为 $n$ 的方差MLE，有偏但一致，因其偏差 $-\sigma^2/n$ 随 $n \to \infty$ 趋于0，称为渐近无偏）。

渐近正态性 (Asymptotic Normality)

标准化后估计量依分布收敛于标准正态分布：

该性质使大样本下可利用正态分布进行假设检验和构造置信区间。许多常见估计量（如中心极限定理下的样本均值、最小二乘法系数）都具有渐近正态性。

综合评价标准：均方误差 (MSE)

该分解揭示了著名的偏差-方差权衡：

• 无偏估计：$\mathrm{MSE} = \mathrm{Var}(\hat{\theta})$，最小化MSE等价于寻找MVUE
• 有时方差很小的有偏估计量MSE可能低于方差大的无偏估计量（如岭回归中主动引入少量偏差换取方差大幅下降）

总结

• 无偏性：保证平均意义上准确
• 有效性：无偏前提下波动尽可能小
• 一致性：数据足够多时收敛到真实值
• 渐近正态性：为大样本统计推断提供可操作工具

理解这些性质是掌握估计理论的关键，也是严谨数据分析的必备知识。