线性无偏估计量

线性无偏估计量 (Linear Unbiased Estimator)

线性无偏估计量是指同时满足线性形式和无偏性两个性质的估计量。具体而言，设观测样本为 $Y_1, Y_2, \ldots, Y_n$，待估参数为 $\theta$。若估计量 $\hat{\theta}$ 可表示为观测值的线性组合：

其中系数 $c_i$ 为常数（可依赖于解释变量但不依赖于随机误差），则称 $\hat{\theta}$ 为线性估计量（Linear Estimator）。若同时满足 $\mathbb{E}[\hat{\theta}] = \theta$——即估计量的期望等于真实参数——则称其为线性无偏估计量。

在经典线性回归中的核心地位

线性无偏估计量最重要的应用场景是普通最小二乘法（OLS）。在高斯-马尔可夫假定下——即误差项满足零均值、同方差、无自相关且解释变量为外生——OLS估计量 $\hat{\beta} = (X'X)^{-1}X'y$ 是观测值 $y$ 的线性函数，且 $\mathbb{E}[\hat{\beta}] = \beta$，因此它属于线性无偏估计量类。

高斯-马尔可夫定理与BLUE

高斯-马尔可夫定理（Gauss-Markov Theorem）指出：在满足经典线性回归假设的条件下，OLS估计量在所有线性无偏估计量中具有最小方差，即OLS是最佳线性无偏估计量（Best Linear Unbiased Estimator, BLUE）。形式化表述为：对任意线性无偏估计量 $\tilde{\beta} = Cy$，有：

该不等式在Loewner序意义下成立，即协方差矩阵之差为半正定矩阵。

线性无偏估计量的例子

• 样本均值：$\bar{Y} = \frac{1}{n}\sum_{i=1}^{n} Y_i$ 是总体均值 $\mu$ 的线性无偏估计量，系数 $c_i = 1/n$。
• OLS估计量：在满足外生性条件下，$\hat{\beta}_{\text{OLS}}$ 是 $\beta$ 的线性无偏估计量。
• 广义最小二乘估计量（GLS）：在异方差或自相关情形下，GLS也是线性无偏估计量，且方差小于OLS。

线性无偏估计量的局限性

尽管线性无偏性在理论上具有吸引力，但在某些情境下并非最优选择。首先，当误差分布存在厚尾或异常值时，线性估计量对极端观测值敏感，其方差可能远大于稳健的非线性估计量（如中位数或M估计量）。其次，岭回归（Ridge Regression）等有偏估计量通过引入偏差换取方差的大幅降低，在均方误差（MSE）意义上可能优于任意线性无偏估计量——这体现了偏差-方差权衡的核心思想。最后，若高斯-马尔可夫假设中的线性性假定本身不成立（如模型存在遗漏的非线性项），则线性无偏估计量类本身即存在设定偏误。

与Cramér-Rao下界的关系

在线性无偏估计量类内部，OLS达到BLUE；但BLUE不一定达到Cramér-Rao下界（CRLB）。若误差项服从正态分布，OLS同时也是所有无偏估计量（包括非线性）中的最小方差无偏估计量（MVUE），此时BLUE与MVUE重合。若误差非正态，则可能存在非线性无偏估计量具有比OLS更小的方差，即OLS仅为线性类中的最优而非全局最优。