加权最小二乘

加权最小二乘 (Weighted Least Squares)

加权最小二乘法（Weighted Least Squares，WLS）是回归分析中一种重要的技术，是对普通最小二乘法（OLS）的改进和推广，主要用于处理线性回归模型的误差项不满足同方差性假设的情形（即存在异方差性）。WLS的核心思想为，不再平等对待每个观测值，对方差较小的观测值即信息更精确可靠者赋予更大权重，对方差较大的观测值即信息更嘈杂不确定性更高者赋予更小权重，从而产生比OLS更效率的参数估计量。

异方差性对OLS的影响

标准线性模型 $y_i = \mathbf{x}_i'\boldsymbol{\beta} + \epsilon_i$ 中，高斯-马尔可夫定理证明在满足同方差性等假设下OLS为BLUE（最佳线性无偏估计量）。同方差性要求所有误差项具有相同方差 $\operatorname{Var}(\epsilon_i|\mathbf{x}_i) = \sigma^2$；异方差性则意味着 $\operatorname{Var}(\epsilon_i|\mathbf{x}_i) = \sigma_i^2$ 随观测值不同而变化，这在现实数据中非常普遍。

异方差性对OLS的影响包括：系数的无偏估计量和一致性估计量仍成立，平均意义上仍命中真实 $\boldsymbol{\beta}$。但OLS不再是BLUE，存在其他线性无偏估计量如WLS比OLS更有效。最关键的后果为，基于同方差推导的标准误、t检验和F检验公式有偏（通常向下偏误），导致假设检验和置信区间不可靠，可能错误判断系数的统计显著性。

WLS原理与估计方法

WLS最小化加权残差平方和：$\min_{\boldsymbol{\beta}} \sum w_i (y_i - \mathbf{x}_i'\boldsymbol{\beta})^2$，而OLS最小化 $\sum (y_i - \mathbf{x}_i'\boldsymbol{\beta})^2$。最优权重与误差项方差倒数成正比：$w_i \propto 1/\sigma_i^2$，方差小则权重大、方差大则权重小。这一设定使更精确的观测在估计中发挥更大作用。

可通过数据变换直观理解WLS：将原模型两侧除以 $\sigma_i$ 得到变换模型 $y_i/\sigma_i = (\mathbf{x}_i'/\sigma_i)\boldsymbol{\beta} + \epsilon_i/\sigma_i$。变换后误差项方差为 $\operatorname{Var}(\epsilon_i/\sigma_i) = 1$，恢复同方差性，对该变换模型应用OLS等价于原始数据的WLS。由此WLS估计量 $\hat{\boldsymbol{\beta}}_{WLS} = (\mathbf{X}'\mathbf{W}\mathbf{X})^{-1}\mathbf{X}'\mathbf{W}\mathbf{y}$，其中 $\mathbf{W} = \operatorname{diag}(w_1, \ldots, w_n)$ 为对角权重矩阵。

可行广义最小二乘法

实际中 $\sigma_i^2$ 未知，需采用可行广义最小二乘法（FGLS）的两步程序：第一步用OLS估计原模型获得残差 $\hat{\epsilon}_i$，建模 $\log(\hat{\epsilon}_i^2)$ 与自变量或其他变量的关系估计方差函数 $\hat{\sigma}_i^2$；第二步使用估计权重 $\hat{w}_i = 1/\hat{\sigma}_i^2$ 进行WLS估计。FGLS在计量经济学应用中广泛使用，特别在截面数据分析中处理异方差性的标准做法。需注意FGLS的性质为渐近而非精确，小样本下权重估计的不确定性可能影响最终推断，但在大样本中FGLS是渐近有效的且在异方差严重时相比OLS是实质性的改进。WLS和FGLS在劳动经济学、健康经济学和金融计量学等回归分析中频繁使用的领域发挥着基础性修正作用。