KNOWECON WIKI

ARTICLE

可行加权最小二乘法

可行加权最小二乘法 (Feasible Weighted Least Squares) 在计量经济学中，可行加权最小二乘法（FWLS，亦称可行广义最小二乘法 FGLS 的加权特例）是处理异方差性的核心估计策略。当经典线性回归模型的随机误差项不再满足同方差假设 Var( _i) = ^2 而是具有异方差形式 Var( _i x_i) = _i^2 时，普通最小

浏览 1 更新 2025-12-18

可行加权最小二乘法 (Feasible Weighted Least Squares)

在计量经济学中，可行加权最小二乘法（FWLS，亦称可行广义最小二乘法 FGLS 的加权特例）是处理异方差性的核心估计策略。当经典线性回归模型的随机误差项不再满足同方差假设 Var⁡(εi)=σ2 \operatorname{Var}(\varepsilon_i) = \sigma^2 而是具有异方差形式 Var⁡(εi∣xi)=σi2 \operatorname{Var}(\varepsilon_i \mid \mathbf{x}_i) = \sigma_i^2 时，普通最小二乘法（OLS）虽然保持无偏性和一致性，但不再是最优线性无偏估计量（BLUE），且其标准误差的常规公式失效，导致推断无效。加权最小二乘法（WLS）通过对方差较大的观测赋予较小权重、方差较小的观测赋予较大权重，恢复估计效率。然而，真实的方差函数 σi2 \sigma_i^2 在实践中几乎不可知——这正是"可行"一词的来源：FWLS 使用从数据中估计出的权重替代未知的真实权重。

模型设定与异方差结构

考虑线性回归模型：

yi=xi′β+εi,i=1,…,ny_i = \mathbf{x}_i' \boldsymbol{\beta} + \varepsilon_i , \quad i = 1, \dots, n

其中 E[εi∣xi]=0 E[\varepsilon_i \mid \mathbf{x}_i] = 0 ，但 Var⁡(εi∣xi)=σi2=σ2⋅v(xi,γ) \operatorname{Var}(\varepsilon_i \mid \mathbf{x}_i) = \sigma_i^2 = \sigma^2 \cdot v(\mathbf{x}_i, \boldsymbol{\gamma}) 。函数 v(⋅) v(\cdot) 刻画了异方差的结构形式，包含未知参数向量 γ \boldsymbol{\gamma} 。常见的参数化设定包括：

  • 乘法异方差：σi2=σ2⋅exp⁡(zi′γ) \sigma_i^2 = \sigma^2 \cdot \exp(\mathbf{z}_i' \boldsymbol{\gamma}) ，其中 zi \mathbf{z}_i 是解释变量的子集或变换。该设定保证方差始终为正，且对数线性形式便于估计。
  • 线性异方差：σi2=σ2⋅(zi′γ) \sigma_i^2 = \sigma^2 \cdot (\mathbf{z}_i' \boldsymbol{\gamma}) ，需约束以确保正值。
  • 分组异方差：若数据可划为 G G 组，每组内同方差但组间方差不同，即 σi2=σg2 \sigma_i^2 = \sigma_g^2 当观测 i i 属于组 g g 。

加权最小二乘法（WLS）：已知权重的理想情形

若方差函数完全已知（即 σi2 \sigma_i^2 的具体数值已知），WLS 估计量最小化加权残差平方和：

β^WLS=arg⁡min⁡β∑i=1n(yi−xi′β)2σi2\hat{\boldsymbol{\beta}}_{\text{WLS}} = \arg\min_{\boldsymbol{\beta}} \sum_{i=1}^{n} \frac{(y_i - \mathbf{x}_i' \boldsymbol{\beta})^2}{\sigma_i^2}

其解析解为：

β^WLS=(∑i=1n1σi2xixi′)−1∑i=1n1σi2xiyi=(X′Ω−1X)−1X′Ω−1y\hat{\boldsymbol{\beta}}_{\text{WLS}} = \left( \sum_{i=1}^{n} \frac{1}{\sigma_i^2} \mathbf{x}_i \mathbf{x}_i' \right)^{-1} \sum_{i=1}^{n} \frac{1}{\sigma_i^2} \mathbf{x}_i y_i = (\mathbf{X}' \boldsymbol{\Omega}^{-1} \mathbf{X})^{-1} \mathbf{X}' \boldsymbol{\Omega}^{-1} \mathbf{y}

其中 Ω=diag⁡(σ12,…,σn2) \boldsymbol{\Omega} = \operatorname{diag}(\sigma_1^2, \dots, \sigma_n^2) 。根据高斯-马尔可夫定理的加权推广，当权重正确设定时，该估计量是 BLUE——在异方差线性估计量类中方差最小。其协方差矩阵为：

Var⁡(β^WLS)=(X′Ω−1X)−1\operatorname{Var}(\hat{\boldsymbol{\beta}}_{\text{WLS}}) = (\mathbf{X}' \boldsymbol{\Omega}^{-1} \mathbf{X})^{-1}

可行加权最小二乘法（FWLS）：两步估计

实践中 σi2 \sigma_i^2 未知，FWLS 通过以下两步程序实现：

第一步（方差函数估计）：用 OLS 估计原模型，获得残差 ε^i=yi−xi′β^OLS \hat{\varepsilon}_i = y_i - \mathbf{x}_i' \hat{\boldsymbol{\beta}}_{\text{OLS}} 。利用这些残差估计异方差结构中的参数 γ \boldsymbol{\gamma} 。以乘法异方差 σi2=σ2exp⁡(zi′γ) \sigma_i^2 = \sigma^2 \exp(\mathbf{z}_i' \boldsymbol{\gamma}) 为例，取对数后得到辅助回归：

ln⁡(ε^i2)=α+zi′γ+νi\ln(\hat{\varepsilon}_i^2) = \alpha + \mathbf{z}_i' \boldsymbol{\gamma} + \nu_i

用 OLS 估计该方程，得到 γ^ \hat{\boldsymbol{\gamma}} ，进而构造估计权重 σ^i2=exp⁡(α^+zi′γ^) \hat{\sigma}_i^2 = \exp(\hat{\alpha} + \mathbf{z}_i' \hat{\boldsymbol{\gamma}}) 。

对于分组异方差，可直接使用各组内的残差样本方差：σ^g2=1ng∑i∈gε^i2 \hat{\sigma}_g^2 = \frac{1}{n_g} \sum_{i \in g} \hat{\varepsilon}_i^2 。

第二步（加权回归）：将估计权重代入 WLS 公式：

β^FWLS=(∑i=1n1σ^i2xixi′)−1∑i=1n1σ^i2xiyi\hat{\boldsymbol{\beta}}_{\text{FWLS}} = \left( \sum_{i=1}^{n} \frac{1}{\hat{\sigma}_i^2} \mathbf{x}_i \mathbf{x}_i' \right)^{-1} \sum_{i=1}^{n} \frac{1}{\hat{\sigma}_i^2} \mathbf{x}_i y_i

渐近性质

在适当的正则条件下（包括方差函数形式正确设定、残差四阶矩有限等），FWLS 具有以下关键性质：

  1. 一致性：β^FWLS→pβ \hat{\boldsymbol{\beta}}_{\text{FWLS}} \xrightarrow{p} \boldsymbol{\beta} 。OLS 残差的一致性保证了第一步中 γ^→pγ \hat{\boldsymbol{\gamma}} \xrightarrow{p} \boldsymbol{\gamma} ，进而 σ^i2→pσi2 \hat{\sigma}_i^2 \xrightarrow{p} \sigma_i^2 ，最终 FWLS 与不可行的 WLS 渐近等价。
  2. 渐近正态性：n(β^FWLS−β)→dN(0,V) \sqrt{n}(\hat{\boldsymbol{\beta}}_{\text{FWLS}} - \boldsymbol{\beta}) \xrightarrow{d} N(\mathbf{0}, \mathbf{V}) ，其中渐近协方差矩阵 V \mathbf{V} 在方差函数正确设定时达到效率界。
  3. 相对效率：FWLS 的渐近方差不超过 OLS 的渐近方差（在矩阵半正定意义上），且异方差程度越严重（σi2 \sigma_i^2 的离散度越大），效率增益越显著。
  4. 两步估计的代价：由于权重是估计的而非已知，FWLS 在小样本中的实际方差略大于不可行 WLS。但这一额外变异随 n→∞ n \to \infty 而消失——FWLS 与 WLS 具有相同的一阶渐近分布。该性质源于方差函数参数 γ \boldsymbol{\gamma} 与回归参数 β \boldsymbol{\beta} 的渐近正交性。

FWLS 与 White 稳健标准误的比较

面对异方差，计量实践中有两种主流策略：(1) 保留 OLS 点估计，使用稳健标准误（如 White/Huber-Eicker 估计量）修正推断；(2) 使用 FWLS 同时改进点估计和推断。两者的权衡如下：

  • 效率：FWLS 的点估计比 OLS 更有效（方差更小），尤其当异方差严重时。White 标准误仅修正推断而不改善点估计精度。
  • 稳健性：White 标准误不需要对方差函数形式做任何假设，是完全非参数的方法。FWLS 依赖于方差函数模型的正确设定——若 v(⋅) v(\cdot) 设定错误，FWLS 虽保持一致性（在解释变量外生条件下），但可能丧失效率优势，甚至不如 OLS。
  • 小样本表现：FWLS 在小样本中面临权重估计的不确定性，而 White 标准误在小样本中倾向于低估真实标准误，导致检验过度拒绝。两者各有限制。
  • 实践建议：当异方差结构有明确的理论指导或可以从数据中可靠识别时，FWLS 是首选；当异方差形式未知且样本量充足时，OLS + 稳健标准误更为安全。在许多应用中，报告 FWLS 结果并辅以稳健标准误作为敏感性分析是良好的研究习惯。

迭代与拓展

迭代 FWLS：可以重复执行两步程序——用最新 FWLS 估计量替代 OLS 作为第一步，重新估计方差函数，再执行加权回归，直至收敛。在正态误差假设下，这一迭代过程等价于极大似然估计（MLE）。

广义方法：FWLS 是广义矩方法（GMM）的一个特例。令 gi(β)=xi(yi−xi′β)/σi2 \mathbf{g}_i(\boldsymbol{\beta}) = \mathbf{x}_i (y_i - \mathbf{x}_i' \boldsymbol{\beta}) / \sigma_i^2 为加权矩条件，FWLS 恰好是其恰好识别下的解。

面板数据与聚类：在面板数据模型中，FWLS 的思路可推广至可行广义最小二乘法（FGLS），用于处理个体效应的异方差或序列相关，以及聚类标准误差的加权修正。

诊断与模型选择

在实践中使用 FWLS 前，需确认异方差的存在并选择合适的方差函数形式：

  • 异方差检验：Breusch-Pagan 检验将 OLS 残差的平方对解释变量回归，检验其联合显著性。White 检验进一步包含解释变量的平方项和交互项，可检测更一般的异方差形式。Goldfeld-Quandt 检验适用于单调方差假设（如方差随某一变量递增）。
  • 方差函数选择：可通过对数残差平方对候选变量的散点图初步判断函数形式。若散点图呈线性趋势，乘法异方差设定较为合适；若各组残差方差差异明显而组内稳定，分组异方差设定更恰当。
  • 模型比较：可通过交叉验证比较不同方差函数设定下的预测性能。亦可报告 OLS、FWLS（多种方差设定）和 OLS+稳健标准误的结果并列，让读者自行判断结论对异方差处理的敏感性。

经济学应用

FWLS 广泛应用于以下场景：

  • 家庭消费研究：高收入家庭的消费波动通常大于低收入家庭，FWLS 对高收入观测赋予较小权重，纠正由此产生的异方差。这一处理在估计边际消费倾向时尤为重要，因为未加权的 OLS 可能被高收入家庭的大幅波动所主导。
  • 企业层面回归：大企业的财务指标（如利润率、投资率）往往比小企业更稳定或更不稳定，取决于具体情境。FWLS 允许研究者显式建模规模相关的方差结构，避免大企业的观测不适当地主导回归结果。
  • 跨国增长回归：不同国家的数据质量、经济波动性差异悬殊，异方差几乎是必然存在的。FWLS 通过降权高波动国家（通常是小国或数据质量较差的国家）提高估计精度。
  • 实验经济学中的处理效应：若处理组的方差与对照组不同（方差非齐性），FWLS 在估计平均处理效应时比 OLS 更有效。这在随机对照试验中尤为常见，处理本身可能不仅改变了均值，也改变了结果的离散度。
  • 金融计量中的 CAPM 检验：在检验资本资产定价模型时，资产收益率的波动率因资产而异且随时间变化，FWLS 通过合理降权高波动率资产来提高风险溢价的估计精度。

局限性

尽管 FWLS 在处理异方差方面优势明显，需注意以下限制：(1) 若方差函数设定错误，FWLS 虽仍保持一致，但可能丧失效率优势，甚至在有限样本下不如 OLS；(2) 在小样本中，权重估计的额外变异性可能不可忽略，导致 FWLS 标准误差的常规公式偏乐观（低估真实不确定性）；(3) FWLS 仅解决异方差问题，若误差项存在自相关（如在时间序列中），需联合使用可行广义最小二乘法（FGLS）处理异方差与自相关。