ARTICLE
决定系数 (R-squared)
决定系数 (R-squared) 决定系数 (Coefficient of Determination),记作 R^2 (读作 "R-squared"),是\%回归分析\%中衡量模型拟合优度的最重要统计量之一。它定量回答了这样一个问题:因变量的总变异中有多大比例能够被回归模型中的自变量所解释? R^2 的取值范围通常在 [0, 1] 之间,其值越接近 1 ,
决定系数 (R-squared)
决定系数 (Coefficient of Determination),记作 (读作 "R-squared"),是\%回归分析\%中衡量模型拟合优度的最重要统计量之一。它定量回答了这样一个问题:因变量的总变异中有多大比例能够被回归模型中的自变量所解释? 的取值范围通常在 之间,其值越接近 ,表明模型对数据的拟合程度越高;越接近 ,则表明模型几乎不具备解释力。
理论基础:平方和的分解
要理解 ,首先需要认识\%回归分析\%中三个核心平方和的概念。对于每个观测值 ,其与均值 的离差可以分解为模型可解释部分与不可解释部分:
对等式两边平方并求和,在\%普通最小二乘法\% (OLS) 的假设下,可以得到方差分解恒等式:
这一恒等式可以简洁地写作 TSS = ESS + RSS。其中:
- 总平方和 (TSS):,衡量因变量的总变异。如果没有模型,预测 的最佳方式就是使用其均值 ,TSS 即直接使用均值预测所产生的总误差。
- 回归平方和 (ESS):,衡量能够被回归模型所解释的变异部分,即模型预测值相对于均值的波动程度。
- 残差平方和 (RSS):,衡量模型无法解释的随机变异,即实际值与预测值之间的差异平方和。
的计算与含义
基于上述分解,决定系数被定义为被解释变异占总变异的比例:
当模型完美拟合所有数据点时,,故 ;当模型完全没有解释力(表现不比直接使用均值更好),,故 。此外,在\%简单线性回归\%(仅一个自变量)中, 等于因变量 与自变量 之间\%皮尔逊相关系数\% 的平方:。
局限性:过拟合与调整
有一个关键缺陷:向模型中添加任何新自变量,即使该变量与因变量毫无关系, 也几乎总会上升(至少不降)。这是因为 OLS 总会给新增变量分配一个微小系数,利用样本中的随机波动来略微减小 RSS,从而虚增表面拟合度。这种现象容易导致\%过拟合\% (Overfitting)。
为解决这一问题,统计学家提出了调整决定系数 (Adjusted ),引入对自变量数量的惩罚:
其中 为\%样本量\%, 为自变量个数。与 不同,调整 仅在新增变量带来的拟合改善足以补偿自由度损失时才上升;若变量毫无解释力,调整 可能下降甚至为负。在\%模型选择\%中,调整 可与\%赤池信息准则\% (AIC) 和\%贝叶斯信息准则\% (BIC) 配合使用。
使用注意事项
在实证研究中,对 的解读需保持审慎:
- 高 不等于好模型:高 仅表示样本拟合度高,不意味着模型系数无偏、显著或存在因果关系。模型可能仍存在\%异方差性\%、\%自相关\%或\%多重共线性\%等问题。
- 低 不等于坏模型:在社会科学或金融学中,个体行为的随机性导致变量间关系本身较弱, 在 0.1 至 0.3 之间是常见且可接受的水平,模型仍可能具有重要的统计显著性。
- 不可跨模型比较: 仅适用于因变量相同的模型。比较不同函数形式(如线性 vs 对数线性)或因变量变换后的模型时, 不具有可比性。此外, 对\%异常值\%极为敏感,少数极端观测即可显著改变其数值。
- 与 F 检验的关系: 与 F 统计量之间存在直接数学关系 。即使 看似可观,若样本量很小或自变量过多,F 检验仍可能不显著。因此,实证报告中应同时汇报 、调整 和 F 检验的 p 值。
拓展:伪 与非线性模型
的方差分解恒等式在\%逻辑回归\%、\%泊松回归\%等非线性模型中不再成立。为此,统计学家发展出多种伪 (Pseudo ) 指标,如 McFadden 、Cox-Snell 和 Nagelkerke 。但这些指标不具备方差分解的直观解释,各指标之间不可直接比较,更不能将其等同于 OLS 框架下的 来解读"解释百分比"。