调整后$R^2$的理解

调整后R²的理解 (Adjusted R-squared)

调整后R² (Adjusted R-squared)，也写作 Adjusted $R^2$ 或 $\bar{R}^2$，是在回归分析中对标准决定系数（即 R平方 或 $R^2$）进行修正后的一种模型拟合优度度量指标。其核心作用是在评估模型拟合效果时，对模型中包含的自变量（predictors）数量施加“惩罚”。这使得它在比较含有不同数量自变量的回归模型时，成为一个比常规 $R^2$ 更可靠、更具参考价值的指标。

一、为何需要调整R²？—— 标准R²的局限性

要理解调整后 $R^2$ 的必要性，首先必须明确标准 $R^2$ 的一个内在缺陷。标准 $R^2$ 衡量的是因变量的总变异中，能够被模型中自变量解释的百分比。其计算公式为：

其中：

• $SSR$ (Sum of Squared Residuals) 是残差平方和，代表模型未能解释的变异。
• $SST$ (Total Sum of Squares) 是总平方和，代表因变量 $Y$ 的总变异。

$R^2$ 的局限性在于：当你在模型中增加一个新的自变量时，无论这个变量是否真的与因变量相关，$R^2$ 的值 永远不会下降，它只会增加或保持不变。这是因为，在最小二乘法拟合过程中，新加入的变量，哪怕它与因变量的真实关系为零，模型也会利用样本数据中的偶然性，赋予它一个非零的系数来尽可能地减少残差平方和（$SSR$）。因此，随着自变量数量的增加，$SSR$ 会单调不增，$R^2$ 也随之单调不减。

这种特性会导致严重的误导：研究者可能会被一个虚高的 $R^2$ 值所迷惑，倾向于建立一个包含大量无关变量的、过于复杂的模型。这种现象被称为过拟合 (Overfitting)，这样的模型在样本内看起来表现优异，但其对新数据的预测能力（泛化能力）却非常差。

二、调整后R²的定义与数学原理

为了解决上述问题，调整后 $R^2$ 被提了出来。它通过引入与自变量数量 $p$ 和样本量 $n$ 相关的调整因子，对 $R^2$ 进行了修正。

公式

调整后 $R^2$ 的常用计算公式有两个等价形式：

公式一（基于 $R^2$）：

公式二（基于平方和）：

其中：

• $n$ 是样本观测点的数量。
• $p$ 是模型中自变量的数量。

原理剖析

公式二更清晰地揭示了调整后 $R^2$ 的内在逻辑。

• 分子 $SSR / (n-p-1)$ 是 均方残差 (Mean Squared Residual, MSR 或 Mean Squared Error, MSE)。它实际上是模型误差项方差 $\sigma^2$ 的一个无偏估计量。分母 $(n-p-1)$ 是残差的自由度 (degrees of freedom)。
• 分母 $SST / (n-1)$ 是 因变量 $Y$ 的样本方差，是对 $Y$ 总体方差 $\sigma_Y^2$ 的一个无偏估计量。分母 $(n-1)$ 是总变异的自由度。

因此，调整后 $R^2$ 可以被理解为：

它衡量的是，在考虑了自由度（即模型复杂度）之后，模型在解释因变量方差方面的改进程度。

惩罚机制：当你在模型中增加一个新的自变量时，$p$ 会增加1。

• $R^2$ 会上升（或不变），导致 $(1 - R^2)$ 下降（或不变）。
• 同时，惩罚项 $\frac{n-1}{n-p-1}$ 会变大，因为其分母 $(n-p-1)$ 变小了。

这两个因素相互作用：

• 如果新加入的变量非常“有效”，它能显著地降低 $SSR$，从而使 $R^2$ 大幅上升。这种上升的幅度足以抵消惩罚项的增加，最终导致调整后 $R^2$ 上升。
• 如果新加入的变量是“无效”的（或效果甚微），它对 $SSR$ 的降低非常有限，导致 $R^2$ 只有微小的增加。这种微弱的改进不足以克服惩罚项的增加，最终导致调整后 $R^2$ 下降。

这就是调整后 $R^2$ 的核心功能：它提供了一个权衡，只有当新变量带来的“解释力”增益大于其增加模型复杂度的“成本”时，调整后 $R^2$ 才会提高。

三、如何解读和使用调整后R²

1. 数值范围： 与 $R^2$（范围 $[0, 1]$）不同，调整后 $R^2$ 的范围是 $(-\infty, 1]$。它 可以为负数。当模型的解释能力甚至不如只使用因变量均值进行预测时（即 $R^2$ 非常接近于0，或模型中的自变量组合效果极差），调整后 $R^2$ 就可能变为负值。
2. 与 $R^2$ 的关系： 对于任何含有至少一个自变量的模型，调整后 $R^2$ 永远小于或等于 $R^2$。只有当模型中没有自变量时（$p=0$），二者才相等。
3. 核心用途 —— 模型选择 (Model Selection)： 调整后 $R^2$ 是比较不同线性回归模型的有力工具，特别是当这些模型的自变量数量不同时。例如，在比较一个包含3个自变量的模型和一个包含5个自变量的模型时，你不应该直接比较它们的 $R^2$，而应该比较调整后 $R^2$。通常，具有更高调整后 $R^2$ 的模型被认为是更优的模型，因为它在解释力和简洁性之间取得了更好的平衡。
4. 增加变量的影响： \begin{itemize}
5. 增加一个新自变量，$R^2$ 必然上升或不变。
6. 增加一个新自变量，调整后 $R^2$ 可能上升，也可能下降。只有当新变量的t统计量的绝对值大于1时，增加该变量才会导致调整后 $R^2$ 上升。 \end{itemize}

四、一个简单的比较示例

假设我们正在建立一个预测房价的模型，样本量 $n=100$。

• 模型A： $\text{房价} = f(\text{房屋面积})$ \begin{itemize}
• $p=1$
• 得到 $R^2 = 0.700$
• $\text{Adjusted } R^2 = 1 - (1-0.7) \frac{100-1}{100-1-1} = 1 - 0.3 \times \frac{99}{98} \approx 0.697$

\item 模型B： $\text{房价} = f(\text{房屋面积}, \text{房间数量})$

• 假设“房间数量”是一个有用的变量。
• $p=2$
• 得到 $R^2 = 0.750$
• $\text{Adjusted } R^2 = 1 - (1-0.75) \frac{100-1}{100-2-1} = 1 - 0.25 \times \frac{99}{97} \approx 0.745$
• 结论： 由于 $0.745 > 0.697$，模型B优于模型A。

\item 模型C： $\text{房价} = f(\text{房屋面积}, \text{房间数量}, \text{房主星座})$

• 假设“房主星座”是一个完全无关的变量。
• $p=3$
• $R^2$ 可能因为随机拟合而微弱上升，比如到 $R^2=0.751$。
• $\text{Adjusted } R^2 = 1 - (1-0.751) \frac{100-1}{100-3-1} = 1 - 0.249 \times \frac{99}{96} \approx 0.743$
• 结论： 由于 $0.743 < 0.745$，我们判断加入“房主星座”这个变量是无益的，模型B仍然是最佳选择。

\end{itemize}

五、局限性与注意事项

尽管调整后 $R^2$ 非常有用，但它并非万能。

• 不反映因果关系： 调整后 $R^2$ 高不代表自变量是因变量的原因。
• 不检验模型假定： 它无法告诉你模型是否存在多重共线性、异方差性或遗漏重要变量等问题。你仍需进行完整的回归诊断。
• 绝对值意义有限： 调整后 $R^2$ 的高低是相对的，主要用于模型比较。一个“低”的调整后 $R^2$（如0.2）在某些社会科学领域可能已相当有价值，而在物理实验中一个“高”的调整后 $R^2$（如0.9）可能还不够。
• 其他模型选择标准： 在现代统计学和机器学习中，还有其他更复杂的模型选择准则，如赤池信息准则 (AIC) 和贝叶斯信息准则 (BIC)，它们也对模型复杂度进行惩罚，并且在理论上更具优势，特别是在非线性模型或广义线性模型中。