KNOWECON WIKI

ARTICLE

方差分解公式

方差分解公式 (Law of Total Variance) 方差分解公式 (Law of Total Variance)，亦称作 条件方差公式 (Conditional Variance Formula) 或 方差分析恒等式 (ANOVA Identity)，是 概率论 (Probability Theory) 与 数理统计 (Mathematical S

浏览 0 更新 2025-07-11

方差分解公式 (Law of Total Variance)

方差分解公式 (Law of Total Variance)，亦称作 条件方差公式 (Conditional Variance Formula) 或 方差分析恒等式 (ANOVA Identity)，是 概率论 (Probability Theory) 与 数理统计 (Mathematical Statistics) 中的核心定理之一。它揭示了随机变量总方差可分解为两部分：组间方差 (Between-Group Variance) 与 组内方差 (Within-Group Variance)，其数学表达式为：

Var⁡(Y)=Var⁡(E[Y∣X])+E[Var⁡(Y∣X)]\operatorname{Var}(Y) = \operatorname{Var}\big(\mathbb{E}[Y \mid X]\big) + \mathbb{E}\big[\operatorname{Var}(Y \mid X)\big]

其中 YY 为目标随机变量，XX 为条件变量（可为随机向量）。该公式在 计量经济学 (Econometrics)、金融工程 (Financial Engineering)、方差分析 (ANOVA) 和 机器学习 (Machine Learning) 中具有广泛应用。

公式的直观含义

方差分解公式将一个变量的总变异（方差）分解为两个具有不同解释意义的来源：

  • 组间方差 Var⁡(E[Y∣X])\operatorname{Var}\big(\mathbb{E}[Y \mid X]\big)：由 XX 的变化所"解释"的部分，反映 YY 的均值随 XX 变动而产生的波动。例如，研究收入 YY 与教育水平 XX 时，此部分衡量不同教育群体之间平均收入的差异。
  • 组内方差 E[Var⁡(Y∣X)]\mathbb{E}\big[\operatorname{Var}(Y \mid X)\big]：被 XX "未解释"的部分，反映在固定 XX 条件下 YY 围绕其条件均值的随机波动。仍以收入为例，此部分衡量同一教育水平内部个体之间的收入差异。

因此，方差分解公式可写为"总方差 = 已解释方差 + 未解释方差"。这一分解构成了 R平方 (R-squared) 与 方差分析 (ANOVA) 的理论基础。

证明概要

设 YY 与 XX 为定义在同一概率空间上的随机变量，且 Var⁡(Y)<∞\operatorname{Var}(Y) < \infty。根据全期望定律 (Law of Total Expectation)，有 E[Y]=E[E[Y∣X]]\mathbb{E}[Y] = \mathbb{E}\big[\mathbb{E}[Y\mid X]\big]。利用方差的定义可展开如下：

Var⁡(Y)=E[Y2]−(E[Y])2=E[E[Y2∣X]]−(E[E[Y∣X]])2=E[Var⁡(Y∣X)+(E[Y∣X])2]−(E[E[Y∣X]])2=E[Var⁡(Y∣X)]+(E[(E[Y∣X])2]−(E[E[Y∣X]])2)=E[Var⁡(Y∣X)]+Var⁡(E[Y∣X])\begin{aligned} \operatorname{Var}(Y) &= \mathbb{E}[Y^2] - \big(\mathbb{E}[Y]\big)^2 \\ &= \mathbb{E}\big[\mathbb{E}[Y^2\mid X]\big] - \big(\mathbb{E}\big[\mathbb{E}[Y\mid X]\big]\big)^2 \\ &= \mathbb{E}\big[\operatorname{Var}(Y\mid X) + \big(\mathbb{E}[Y\mid X]\big)^2\big] - \big(\mathbb{E}\big[\mathbb{E}[Y\mid X]\big]\big)^2 \\ &= \mathbb{E}\big[\operatorname{Var}(Y\mid X)\big] + \Big(\mathbb{E}\big[(\mathbb{E}[Y\mid X])^2\big] - \big(\mathbb{E}\big[\mathbb{E}[Y\mid X]\big]\big)^2\Big) \\ &= \mathbb{E}\big[\operatorname{Var}(Y\mid X)\big] + \operatorname{Var}\big(\mathbb{E}[Y\mid X]\big) \end{aligned}

证毕。此证明仅需 条件期望 (Conditional Expectation) 的性质与全期望公式，简洁而优美。

与方差分析的联系

方差分解公式是 方差分析 (ANOVA, Analysis of Variance) 的数学支柱。在一维 单向方差分析 (One-way ANOVA) 中，总平方和 (Total Sum of Squares, SST) 可分解为处理平方和 (Treatment Sum of Squares, SSA) 与误差平方和 (Error Sum of Squares, SSE)：

∑i=1k∑j=1ni(Yij−Yˉ)2=∑i=1kni(Yˉi−Yˉ)2+∑i=1k∑j=1ni(Yij−Yˉi)2\sum_{i=1}^k\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y})^2 = \sum_{i=1}^k n_i(\bar{Y}_i-\bar{Y})^2 + \sum_{i=1}^k\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y}_i)^2

除以自由度后，上式对应的正是方差分解公式的样本版本。ANOVA 中的 FF 检验统计量本质上比较了组间方差与组内方差的比值，若组间方差显著大于组内方差，则拒绝组均值相等的零假设。

在计量经济学中的应用

在 线性回归 (Linear Regression) 分析中，方差分解公式为 决定系数 (Coefficient of Determination, R2R^2) 提供了理论基础。对于模型 Y=Xβ+εY = X\beta + \varepsilon，有：

Var⁡(Y)=Var⁡(E[Y∣X])+E[Var⁡(Y∣X)]=Var⁡(Xβ)+Var⁡(ε)\operatorname{Var}(Y) = \operatorname{Var}\big(\mathbb{E}[Y\mid X]\big) + \mathbb{E}\big[\operatorname{Var}(Y\mid X)\big] = \operatorname{Var}(X\beta) + \operatorname{Var}(\varepsilon)

此时 R2=Var⁡(E[Y∣X])/Var⁡(Y)R^2 = \operatorname{Var}(\mathbb{E}[Y\mid X]) / \operatorname{Var}(Y)，衡量回归模型对总变异的解释比例。在 面板数据 (Panel Data) 分析中，方差分解常用于评估个体效应、时间效应与随机误差各自贡献的变异比例。

此外，方差分解公式在 风险管理 (Risk Management) 中亦扮演重要角色。在 条件风险价值 (Conditional Value at Risk, CVaR) 和 风险分解 (Risk Decomposition) 中，总风险的方差可按不同风险因子进行分解，进而实现 风险预算 (Risk Budgeting)——即量化各风险因子对组合总风险的贡献度。

在机器学习中的应用

在 集成学习 (Ensemble Learning) 中，方差分解公式被用于分析模型预测误差的偏差-方差权衡 (Bias-Variance Tradeoff)。对于一个 随机森林 (Random Forest) 或 梯度提升树 (Gradient Boosting) 模型，其总预测误差可分解为偏差 (Bias)、方差 (Variance) 与不可约噪声 (Irreducible Error) 三部分。方差分解公式中的概念在此被引申为：

E[(Y−f^(X))2]=(Bias[f^(X)])2+Var⁡(f^(X))+σ2\mathbb{E}\big[(Y - \hat{f}(X))^2\big] = \big(\text{Bias}[\hat{f}(X)]\big)^2 + \operatorname{Var}\big(\hat{f}(X)\big) + \sigma^2

其中 σ2\sigma^2 为噪声方差。这一框架指导着机器学习中的 正则化 (Regularization) 与 交叉验证 (Cross-validation) 策略的选择——过拟合模型具有低偏差但高方差，而欠拟合模型具有高偏差但低方差，最优模型在两者之间取得平衡。

推广形式

方差分解公式可推广至多个条件变量情形。对于随机变量 YY 与随机向量 X1,X2,…,XkX_1, X_2, \dots, X_k，可依序进行层次分解：

Var⁡(Y)=Var⁡(E[Y∣X1])+E[Var⁡(E[Y∣X1,X2])]+⋯\operatorname{Var}(Y) = \operatorname{Var}\big(\mathbb{E}[Y\mid X_1]\big) + \mathbb{E}\big[\operatorname{Var}\big(\mathbb{E}[Y\mid X_1, X_2]\big)\big] + \cdots

这种 层次方差分解 (Hierarchical Variance Decomposition) 在 全局敏感性分析 (Global Sensitivity Analysis) 中应用广泛，例如 Sobol 指数 (Sobol Indices) 即基于对模型输出方差的分解来度量各输入变量的重要性。

与全期望公式的联系

方差分解公式与 全期望公式 (Law of Total Expectation) 构成一对姊妹定理。全期望公式表述为 \mathbb{E}[Y] = \mathbb{E}ig[\mathbb{E}[Y\mid X]ig]，即无条件期望等于条件期望的期望。方差分解公式则将其推广至二阶矩层面：总方差等于条件期望的方差加上条件方差的期望。两者结合使用，可以在已知部分条件分布信息时，高效计算复杂随机变量的数值特征。这一对公式共同构成了 extbf{迭代期望法则} (Law of Iterated Expectations) 与 extbf{迭代方差法则} (Law of Iterated Variance) 的完整体系。

注意事项

应用方差分解公式时需注意：公式中的两项均为非负值，因此分解后的各部分方差之和严格等于总方差。然而，这并不意味着"被解释"的部分反映因果关系——Var⁡(E[Y∣X])\operatorname{Var}(\mathbb{E}[Y\mid X]) 衡量的是预测能力而非因果效应。此外，当 XX 与 YY 独立时，E[Y∣X]=E[Y]\mathbb{E}[Y\mid X] = \mathbb{E}[Y]，从而组间方差为零，所有变异均来自组内方差。理解这一极端情形有助于正确解释公式的实际含义。

在 贝叶斯统计 (Bayesian Statistics) 中，方差分解公式亦有重要应用。后验方差可分解为先验方差与数据信息带来的方差缩减两部分，从而量化数据对参数估计精度的提升效果。具体而言，在正态-正态共轭模型中，后验方差等于先验方差与样本方差的调和形式，方差分解为理解贝叶斯更新机制提供了直观的数值视角。

在 因子模型 (Factor Model) 中，方差分解被用于评估各因子对资产收益变异的解释能力。对于多因子模型 R_i = \alpha_i + eta_{i1}F_1 + eta_{i2}F_2 + \varepsilon_i，总收益方差可按各因子贡献与特质风险进行正交分解，从而计算每个因子的方差贡献占比（即因子 R2R^2）。这一分析在 资产定价 (Asset Pricing) 和 投资组合管理 (Portfolio Management) 中是识别系统性风险来源的核心工具。

在 时间序列分析 (Time Series Analysis) 中， extbf{预测误差方差分解} (Forecast Error Variance Decomposition, FEVD) 是 向量自回归模型 (VAR, Vector Autoregression) 中不可或缺的分析手段。通过正交化冲击（如使用 乔列斯基分解 Cholesky Decomposition），可将各变量预测误差的方差按不同结构冲击的贡献进行分解，从而判断各经济变量之间的动态传导机制。例如，研究货币政策冲击对产出和通胀的影响时，FEVD 可量化货币政策冲击在多大程度上解释了产出的预测方差。

总之，方差分解公式以其简洁的形式和深刻的内涵，成为连接概率论、统计推断、计量经济学与机器学习的重要桥梁。它为理解世界中的变异来源提供了系统化的数学框架。