加权最小二乘法

加权最小二乘法 (WLS)

加权最小二乘法是普通最小二乘法(OLS)推广，解决误差项异方差性问题。核心：为每个观测值分配不同权重→方差小（可靠）的数据点在回归拟合中作用更大。

异方差后果

同方差：$Var(\epsilon_i) = \sigma^2$（常数）。异方差：$Var(\epsilon_i) = \sigma_i^2$（因观测值变化）。OLS后果：估计量仍无偏和一致但不再有效（不再BLUE，存在更高效的WLS）；标准误计算错误（通常偏低）→t检验/F检验和置信区间无效。

WLS原理与变换

OLS最小化残差平方和 $\min \sum e_i^2$；WLS最小化加权残差平方和：$\min \sum w_i e_i^2$（最优权重 $w_i = 1/\sigma_i^2$——大方差→小权重反之）。

数据变换等价性：将 $Y_i = \beta_0 + \beta_1 X_i + \epsilon_i$ 两边除以$\sigma_i$：

新模型满足同方差→可放用OLS→等价于WLS。WLS估计量恢复BLUE性质。

可行加权最小二乘法(FGLS)

真实$\sigma_i^2$未知→两阶段：①OLS回归→得残差$e_i$；②建方差模型（如 $\ln(e_i^2) = \alpha_0 + \alpha_1 \ln(X_{1i}) + v_i$）→获取$\hat{\sigma}_i^2$；③构造权重 $\hat{w}_i = 1/\hat{\sigma}_i^2$；④WLS回归（R/Stata/Python均内置）。FGLS权重估计→仅渐近有效（小样本性质不确定，方差模型设定错误可能比OLS更差）。

WLS vs 稳健标准误

异方差稳健标准误（怀特标准误）：不改OLS系数估计→仅修正标准误公式→假设检验和置信区间仍有效，简单直接。WLS/FGLS：修改系数估计→追求更高效（但需正确刻画方差结构→有模型设定错误风险）。实践：OLS+稳健标准误广泛推荐。