KNOWECON WIKI

ARTICLE

均方差

均方差 (Mean Squared Error) 均方差 (Mean Squared Error, MSE)，也称均方误差，是统计学、计量经济学和机器学习中衡量估计精度与预测准确性的核心指标。它量化了一个估计量或预测值与其真实值之间差异的平方的平均水平。MSE 越小，表示估计或预测越精确。 定义与公式 设 为真实参数值， 为其估计量。均方差的定义为估计误差平

浏览 0 更新 2025-07-16

均方差 (Mean Squared Error)

均方差 (Mean Squared Error, MSE)，也称均方误差，是统计学、计量经济学和机器学习中衡量估计精度与预测准确性的核心指标。它量化了一个估计量或预测值与其真实值之间差异的平方的平均水平。MSE 越小，表示估计或预测越精确。

定义与公式

设 θ \theta 为真实参数值，θ^ \hat{\theta} 为其估计量。均方差的定义为估计误差平方的期望值：

MSE(θ^)=E[(θ^−θ)2]MSE(\hat{\theta}) = E[(\hat{\theta} - \theta)^2]

对于一组观测数据，设有 n n 个真实值 yi y_i 和对应的预测值 y^i \hat{y}_i ，则样本 MSE 的计算公式为：

MSE=1n∑i=1n(yi−y^i)2MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2

该公式具有直观的解释：它首先计算每个估计值与真实值的偏差，将其平方（保证正数并惩罚大误差），然后取平均。平方操作使 MSE 对大误差施加不成比例的惩罚，这一特性被称为对离群值的敏感性。

偏差-方差分解

MSE 最重要的理论性质之一是其可以分解为三个组成部分。对于估计量 θ^ \hat{\theta} ：

MSE(θ^)=Bias(θ^)2+Var(θ^)MSE(\hat{\theta}) = \text{Bias}(\hat{\theta})^2 + \text{Var}(\hat{\theta})

其中 Bias(θ^)=E[θ^]−θ \text{Bias}(\hat{\theta}) = E[\hat{\theta}] - \theta 是估计量的偏差，Var(θ^)=E[(θ^−E[θ^])2] \text{Var}(\hat{\theta}) = E[(\hat{\theta} - E[\hat{\theta}])^2] 是估计量的方差。

推导过程：

MSE(θ^)=E[(θ^−θ)2]=E[(θ^−E[θ^]+E[θ^]−θ)2]=E[(θ^−E[θ^])2]+(E[θ^]−θ)2+2E[θ^−E[θ^]](E[θ^]−θ)=Var(θ^)+Bias(θ^)2\begin{aligned} MSE(\hat{\theta}) &= E[(\hat{\theta} - \theta)^2] \\ &= E[(\hat{\theta} - E[\hat{\theta}] + E[\hat{\theta}] - \theta)^2] \\ &= E[(\hat{\theta} - E[\hat{\theta}])^2] + (E[\hat{\theta}] - \theta)^2 + 2E[\hat{\theta} - E[\hat{\theta}]](E[\hat{\theta}] - \theta) \\ &= \text{Var}(\hat{\theta}) + \text{Bias}(\hat{\theta})^2 \end{aligned}

交叉项为零，因为 E[θ^−E[θ^]]=0 E[\hat{\theta} - E[\hat{\theta}]] = 0 。

这一分解揭示了著名的偏差-方差权衡：

  • 高偏差、低方差：模型过于简单（如线性模型拟合非线性关系），导致欠拟合。
  • 低偏差、高方差：模型过于复杂（如高阶多项式），对训练数据的微小变化过度敏感，导致过拟合。

最优模型需要在偏差和方差之间取得平衡，以最小化总体 MSE。

在回归分析中的应用

在线性回归中，MSE 是最常用的损失函数和模型评价指标。对于普通最小二乘法 (OLS)：

MSE=1n∑i=1n(yi−β^0−β^1xi1−⋯−β^kxik)2=1n∑i=1nei2MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{\beta}_0 - \hat{\beta}_1 x_{i1} - \cdots - \hat{\beta}_k x_{ik})^2 = \frac{1}{n}\sum_{i=1}^{n}e_i^2

其中 ei e_i 为残差。OLS 通过最小化残差平方和来估计回归系数，实质上是使样本 MSE 最小化。

在模型比较中，MSE 的平方根——均方根误差 (Root Mean Squared Error, RMSE)——常被使用，因其量纲与原始数据一致：

RMSE=MSE=1n∑i=1n(yi−y^i)2RMSE = \sqrt{MSE} = \sqrt{\frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2}

在机器学习中

在监督学习中，MSE 是回归任务的默认损失函数，也称为平方损失 (Squared Loss) 或 L2 损失。训练模型时，目标是最小化训练集上的 MSE，同时通过正则化控制模型复杂度。

MSE、RMSE 与 MAE 的比较

| 指标 | 公式 | 特点 | |------|------|------| | MSE | 1n∑(yi−y^i)2 \frac{1}{n}\sum (y_i - \hat{y}_i)^2 | 对大误差惩罚严厉，可微 | | RMSE | 1n∑(yi−y^i)2 \sqrt{\frac{1}{n}\sum (y_i - \hat{y}_i)^2} | 保留原量纲，解释性强 | | 平均绝对误差 (MAE) | 1n∑∥yi−y^i∥ \frac{1}{n}\sum \|y_i - \hat{y}_i\| | 对离群值稳健，不可微于零点 |

MSE 因处处可微而在优化中广受欢迎（便于梯度下降求解），但 MAE 在存在离群值时更为稳健。选择何种指标取决于具体问题的需求和数据特征。

总结

均方差是衡量估计与预测质量的基础性指标。它通过偏差-方差分解揭示了模型选择的本质权衡，是连接统计学理论与机器学习实践的桥梁。理解 MSE 的构成与性质，对于构建可靠的统计推断和有效的预测模型至关重要。