无偏估计的条件

无偏估计的条件 (Conditions for Unbiasedness)

统计推断核心问题→用样本数据构造估计量推断未知总体参数→无偏性是估计量最基本优良性质→衡量在重复抽样中估计量是否平均意义上准确命中真实参数。无偏估计长期既不系统高估亦不系统低估。

核心条件： $E(\hat{\theta})=\theta$

给定总体参数 $\theta$ 及基于样本 $X_1,\dots,X_n$ 的估计量 $\hat{\theta}$ →无偏充要条件：该估计量的期望值等于总体参数真实值→对所有 $\theta$ 可能取值均成立：

E(\hat{\theta}) = \theta

定义偏差 $\,Bias(\hat{\theta})=E(\hat{\theta})-\theta$ →无偏等价于偏差恒为零。 $E(\hat{\theta})>\theta$ →正向偏差（系统高估）； $E(\hat{\theta})<\theta$ →负向偏差（系统低估）。

验证无偏性三步骤

①明确定义：确定待估参数 $\theta$ 及估计量 $\hat{\theta}=f(X_1,\dots,X_n)$ 。②计算期望：设随机样本→各 $X_i$ \~独立同分布(i.i.d.)→用期望线性性质推导 $E(\hat{\theta})$ 。③比较： $E(\hat{\theta})\stackrel{?}{=}\theta$ →等→无偏；否→有偏→偏差=差值。

经典范例

样本均值→ $\mu$ 的无偏估计

总体均值 $\mu$ →估计量=样本均值 $\bar{X}=\frac{1}{n}\sum_{i=1}^n X_i$ ：

E(\bar{X}) = E\!\left(\frac{1}{n}\sum X_i\right) = \frac{1}{n}\sum E(X_i) = \frac{1}{n}\cdot n\mu = \mu

→ $E(\bar{X})=\mu$ →样本均值是总体均值的无偏估计量→此结论不依赖总体分布形态。

样本方差→从有偏到无偏

总体方差 $\sigma^2=E[(X-\mu)^2]$ 。直观估计量 $\hat{\sigma}_n^2=\frac{1}{n}\sum(X_i-\bar{X})^2$ ：

E(\hat{\sigma}_n^2) = \frac{n-1}{n}\sigma^2 \neq \sigma^2

→有偏→系统性低估真实方差→因 $\bar{X}$ 代替 $\mu$ 消耗1自由度→平方和偏小。

修正→样本方差 $S^2=\frac{1}{n-1}\sum(X_i-\bar{X})^2$ ：

E(S^2) = \frac{1}{n-1}E\!\left[\sum(X_i-\bar{X})^2\right] = \frac{1}{n-1}(n-1)\sigma^2 = \sigma^2

→ $E(S^2)=\sigma^2$ →分母 $n-1$ =Bessel's correction→此修正使估计量无偏。

无偏性与其他性质的关系

有效性：多无偏估计量存在→选方差最小者→即最小方差无偏估计量(MVUE)→Cramér-Rao下界定理论上可达到的最小方差。

一致性： $n\to\infty$ 时 $\hat{\theta}$ 收敛至 $\theta$ →部分有偏估计量仍一致（偏差随 $n\to\infty$ 趋于零→如 $\hat{\sigma}_n^2$ 的偏差 $\frac{\sigma^2}{n}\to0$ ）。无偏≠一致，一致≠无偏。

均方误差(MSE)：综合度量估计量性能→ $MSE(\hat{\theta})=E[(\hat{\theta}-\theta)^2]=Var(\hat{\theta})+[Bias(\hat{\theta})]^2$ →方差+偏差平方和→揭示偏差-方差权衡：略偏但方差极小的估计量→MSE可能优于大方差无偏估计量→岭回归即基于此原理。

无偏性核心= $E(\hat{\theta})=\theta$ →保证平均意义上准确→与有效性/一致性共构评估估计量的完整框架→是统计推断奠基性概念。

返回百科索引

无偏估计的条件