知经 KNOWECON · 卓越的经济金融统计数学学习平台

拟合值

# 拟合值 (Fitted Value)

拟合值 (Fitted Value),在{{{统计模型}}}中也常被称为 预测值 (Predicted Value)(特指样本内预测),是指利用已估计出的{{{回归模型}}},针对数据集中每一个观测点的{{{自变量}}}(Independent Variables)所计算出的{{{因变量}}}(Dependent Variable)的估计值。拟合值代表了模型对给定自变量下因变量的"最佳猜测"。

在统计学和{{{计量经济学}}}中,拟合值是理解模型性能、进行{{{模型诊断}}}和解释回归结果的核心概念。通常用 $\hat{y}_i$ (读作 "y-hat") 来表示第 $i$ 个观测值的拟合值,以区别于其对应的实际观测值 $y_i$。

## 定义与计算

拟合值的计算基于已通过某种估计方法(如{{{普通最小二乘法 (OLS)}}})得到的模型参数。

### 简单线性回归

在{{{简单线性回归模型}}}中,我们假设因变量 $y$ 和单个自变量 $x$ 之间的关系是线性的: $$ y_i = \beta_0 + \beta_1 x_i + \epsilon_i $$ 其中: - $y_i$ 是第 $i$ 个观测的因变量实际值。 - $x_i$ 是第 $i$ 个观测的自变量实际值。 - $\beta_0$ 是模型的{{{截距}}} (Intercept)。 - $\beta_1$ 是模型的{{{斜率}}} (Slope)。 - $\epsilon_i$ 是{{{误差项}}} (Error Term),代表了无法被模型解释的随机扰动。

通过OLS等方法,我们可以得到参数的估计值 $\hat{\beta}_0$ 和 $\hat{\beta}_1$。利用这些估计值,我们就可以为数据集中的每个 $x_i$ 计算其对应的拟合值 $\hat{y}_i$:

$$ \hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1 x_i $$

这个公式定义的直线被称为 样本回归线 (Sample Regression Line)。每一个拟合值 $\hat{y}_i$ 都精确地落在这条直线上。

### 多元线性回归

这个概念可以自然地推广到{{{多元线性回归模型}}},即模型包含多个自变量: $$ y_i = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \dots + \beta_k x_{ik} + \epsilon_i $$ 其中 $x_{i1}, x_{i2}, \dots, x_{ik}$ 是第 $i$ 个观测的 $k$ 个不同自变量的值。

其拟合值的计算公式为: $$ \hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1 x_{i1} + \hat{\beta}_2 x_{i2} + \dots + \hat{\beta}_k x_{ik} $$

### 矩阵表示法

在更高级的课程中,使用{{{矩阵}}}代数表示更为简洁高效。模型可以写作: $$ Y = X\beta + \epsilon $$ 其中,$Y$ 是因变量观测值的列向量,$X$ 是包含一列1(对应截距)和所有自变量观测值的矩阵,$\beta$ 是参数列向量,$\epsilon$ 是误差项的列向量。

OLS估计的参数向量为 $\hat{\beta} = (X'X)^{-1}X'Y$。因此,拟合值的向量 $\hat{Y}$ 可以表示为:

$$ \hat{Y} = X\hat{\beta} = X(X'X)^{-1}X'Y $$

在这里,我们定义一个非常重要的矩阵——帽子矩阵 (Hat Matrix),记为 $H$: $$ H = X(X'X)^{-1}X' $$ 于是,拟合值的向量可以非常简洁地表示为: $$ \hat{Y} = HY $$ 这个表达式清晰地表明,拟合值向量 $\hat{Y}$ 是通过帽子矩阵 $H$ 这个线性算子 "戴在" 原始观测值向量 $Y$ 上的结果。

## 拟合值与残差

拟合值与{{{残差 (Residual)}}} 紧密相关。残差是实际观测值与模型拟合值之间的差异,记为 $e_i$ 或 $\hat{\epsilon}_i$。

$$ e_i = y_i - \hat{y}_i $$

几何意义: - 拟合值 ($\hat{y}_i$) 是在由自变量构成的空间中,实际观测点 $(x_i, y_i)$ 在回归线(或回归超平面)上的垂直投影点的高度。 - 残差 ($e_i$) 是实际观测点 $(x_i, y_i)$ 到回归线的垂直距离。

普通最小二乘法(OLS)的目标正是寻找一组参数估计值 $\hat{\beta}$,使得所有观测值的 残差平方和 (Sum of Squared Residuals, RSS) 最小化: $$ \min_{\hat{\beta}} \sum_{i=1}^{n} e_i^2 = \min_{\hat{\beta}} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$ 因此,拟合值的概念是OLS估计方法的核心。

## 关键性质 (基于OLS)

在包含截距项的OLS回归模型中,拟合值和残差具有一些重要的统计性质:

1. 均值相等:拟合值的样本均值等于实际观测值的样本均值。 $$ \bar{\hat{y}} = \bar{y} $$ 这意味着回归模型在整体上是"无偏"的,高估和低估的部分相互抵消。

2. 与残差不相关:拟合值与残差在样本中是{{{不相关}}}的。 $$ \sum_{i=1}^{n} \hat{y}_i e_i = 0 $$ 这意味着由模型解释的部分(拟合值)与模型未解释的部分(残差)是正交的。

3. 方差分解:总的变异可以被分解为模型解释的变异和未解释的变异。 * {{{总平方和 (Total Sum of Squares, TSS)}}}:$\sum (y_i - \bar{y})^2$,衡量 $y$ 的总变异。 * {{{回归平方和 (Explained Sum of Squares, ESS)}}}:$\sum (\hat{y}_i - \bar{y})^2$,衡量能被模型解释的 $y$ 的变异,这部分变异完全由拟合值的变化贡献。 * {{{残差平方和 (Residual Sum of Squares, RSS)}}}:$\sum (y_i - \hat{y}_i)^2 = \sum e_i^2$,衡量不能被模型解释的 $y$ 的变异。

这三者满足恒等式: $$ TSS = ESS + RSS $$ 此恒等式是{{{方差分析 (ANOVA)}}}的基础,并且直接引出了衡量模型拟合优度的重要指标——{{{决定系数 ($R^2$)}}}: $$ R^2 = \frac{ESS}{TSS} = 1 - \frac{RSS}{TSS} $$

## 拟合值 vs. 预测值

虽然在某些语境下这两个词可以互换,但在严谨的统计学中,区分它们非常重要:

- 拟合值 (Fitted Value):是针对 样本内 (in-sample) 数据的预测。即对用于训练模型的原始数据集中的每一个观测值 $x_i$ 进行预测,得到 $\hat{y}_i$。

- 预测值 (Predicted Value):通常指对 样本外 (out-of-sample) 数据的预测。即使用已经训练好的模型,对一个全新的、未包含在训练集中的观测值 $x_0$ 进行预测,得到 $\hat{y}_0$。

计算公式是相同的,但它们的统计推断(如构造置信区间)则有所不同。对拟合值的推断通常关注 均值响应的{{{置信区间}}} (Confidence Interval for the Mean Response),而对新预测值的推断则关注 单个响应的{{{预测区间}}} (Prediction Interval for an Individual Response)。预测区间总是比置信区间更宽,因为它除了包含模型参数估计的不确定性外,还必须包含未来单个误差项 $\epsilon_0$ 的不确定性。

## 应用

拟合值是回归分析中不可或缺的工具:

- 模型诊断:通过绘制 残差对拟合值图 (Residuals vs. Fitted Plot),可以直观地检查模型假设是否成立。例如,可以观察是否存在{{{异方差性}}}(残差的方差随拟合值的变化而变化)、非线性关系或潜在的{{{异常值}}}。

- 评估拟合优度:如前所述,拟合值是计算 $R^2$ 和{{{调整后R²}}}等拟合优度指标的基础,帮助我们量化模型对数据变异的解释能力。

- 结果解释:拟合值提供了模型对现实世界的具体量化描述,使得分析师能够具体说明在特定条件下,因变量的期望值是多少。