广义最小二乘法

广义最小二乘法 (GLS)

GLS=艾特肯估计量→计量中普通最小二乘法的扩展→处理误差项违球扰动假设→存异方差或自相关时提供比OLS更有效参数估计。

从OLS到GLS

标准线性模型 $y=X\beta+\epsilon$。高斯-马尔可夫要求 $E[\epsilon\epsilon'|X]=\sigma^2I_n$：①同方差（对角元=$\sigma^2$常数）；②无自相关（非对角元皆0）。违规→$E[\epsilon\epsilon'|X]=\Omega\neq\sigma^2I_n$→OLS仍无偏+一致（某些条件）→但不再BLUE→且标准方差 $s^2(X'X)^{-1}$ 有偏不一致→t/F/标准误全→统计推断失效。

GLS核心：线性变换化原模型为新模型满足高斯-马尔可夫→对新模型用OLS。$\Omega$对称正定→找非奇异$C$使$\Omega^{-1}=C'C$（Cholesky分解）。左乘C得转换模型 $y^*=X^*\beta+\epsilon^*$（$y^*=Cy,X^*=CX$）→新误差：$E[\epsilon^*\epsilon^{*'}|X]=C\Omega C'=I_n$→同方差无自相关→可OLS求BLUE。

GLS估计量=$\hat{\beta}_{GLS}=(X'\Omega^{-1}X)^{-1}X'\Omega^{-1}y$。性质：无偏（$E[\hat{\beta}_{GLS}]=\beta$）；方差=$(X'\Omega^{-1}X)^{-1}$；有效（GLS版高斯-马尔可夫：$\Omega$时GLS线性无偏中方差最小→BLUE）。

FGLS与替代法

实践中$\Omega$几乎总未知→可行广义最小二乘法FGLS→用一致估计$\hat{\Omega}$替$\Omega$。三步：①先OLS得残差$\hat{\epsilon}=y-X\hat{\beta}_{OLS}$；②据残差估$\Omega$结构（异方差→辅回归$\log(\hat{\epsilon}_i^2)\sim Z_i$得$\hat{\sigma}_i^2$构对角矩阵；自相关AR(1)→$\hat{\epsilon}_t=\rho\hat{\epsilon}_{t-1}+v_t$估$\hat{\rho}$构$\hat{\Omega}$）；③代式算$\hat{\beta}_{FGLS}=(X'\hat{\Omega}^{-1}X)^{-1}X'\hat{\Omega}^{-1}y$。FGLS有限样本有偏→但若$\hat{\Omega}$一致→则渐近无偏+一致+渐近有效。

特例：仅异方差→加权最小二乘法WLS（$\Omega$对角→大权重小方→高效）。自相关→Cochrane-Orcutt/Prais-Winsten迭代FGLS。现代实践：仍用OLS（无偏一致）+改用稳健标准误（White→异方差/Newey-West→异方差+自相关皆稳）→不需设$\Omega$形→更稳健免设定错。