KNOWECON WIKI

ARTICLE

模型拟合

模型拟合 (Model Fitting) 模型拟合 是指使用观测数据来估计统计模型中的未知参数，使得模型的预测值与实际观测值尽可能接近的过程。在计量经济学中，模型拟合是连接理论与数据的核心环节——它把抽象的理论假设转化为可检验的定量关系。无论是最简单的线性回归还是复杂的机器学习模型，"拟合"的本质都是同一个数学问题：在给定的模型结构下，寻找一组参数值，使某个

浏览 0 更新 2025-10-26

模型拟合 (Model Fitting)

模型拟合 是指使用观测数据来估计统计模型中的未知参数，使得模型的预测值与实际观测值尽可能接近的过程。在计量经济学中，模型拟合是连接理论与数据的核心环节——它把抽象的理论假设转化为可检验的定量关系。无论是最简单的线性回归还是复杂的机器学习模型，"拟合"的本质都是同一个数学问题：在给定的模型结构下，寻找一组参数值，使某个衡量"拟合好坏"的准则函数达到最优。

拟合的逻辑：从目标函数到参数估计

设我们有一个数据集 {(xi,yi)}i=1n \{(x_i, y_i)\}_{i=1}^n 和一个带有未知参数 θ \theta 的模型 f(x;θ) f(x; \theta) 。模型拟合的形式化任务是：

θ^=arg⁡min⁡θ∑i=1nL(yi,f(xi;θ))\hat{\theta} = \arg\min_{\theta} \sum_{i=1}^n L\left(y_i, f(x_i; \theta)\right)

其中 L L 是损失函数，衡量单次预测偏离观测值的代价。拟合过程通过调整 θ \theta 使总损失最小化。损失函数的选择决定了拟合的性质：最小二乘法使用平方损失，最小绝对离差使用绝对值损失，不同的损失函数对离群值的敏感度不同，从而导出不同的拟合结果。

最小二乘法 (OLS)：线性回归的主力工具

在经典线性回归中，标准拟合方法是普通最小二乘法 (OLS)。模型为 yi=β0+β1xi1+⋯+βkxik+ϵi y_i = \beta_0 + \beta_1 x_{i1} + \cdots + \beta_k x_{ik} + \epsilon_i ，我们需要找到参数向量 β^ \hat{\boldsymbol{\beta}} 使残差平方和 (Sum of Squared Residuals, SSR) 最小：

β^=arg⁡min⁡β∑i=1n(yi−β0−β1xi1−⋯−βkxik)2\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \sum_{i=1}^n \left(y_i - \beta_0 - \beta_1 x_{i1} - \cdots - \beta_k x_{ik}\right)^2

在矩阵形式下，OLS 有解析解：

β^=(X′X)−1X′y\hat{\boldsymbol{\beta}} = (X'X)^{-1}X'\mathbf{y}

这个解的存在条件是 X′X X'X 可逆，即不存在完全的多重共线性。OLS 的几何直觉是：拟合值向量 y^=Xβ^ \hat{\mathbf{y}} = X\hat{\boldsymbol{\beta}} 是 y \mathbf{y} 在 X X 的列空间上的正交投影——y^ \hat{\mathbf{y}} 是所有可能的线性组合中距离 y \mathbf{y} 最近的点。残差向量 ϵ^=y−y^ \hat{\boldsymbol{\epsilon}} = \mathbf{y} - \hat{\mathbf{y}} 垂直于 X X 的列空间，这一正交性质是 OLS 诸多数理性质（如无偏性、最小方差）的几何根源。

拟合优度：模型有多"好"？

拟合完成后，一个自然的问题是：模型对数据的解释程度如何？常用的度量指标包括：

判定系数 R2 R^2

R2=1−SSRSST=1−∑i=1nϵ^i2∑i=1n(yi−yˉ)2R^2 = 1 - \frac{SSR}{SST} = 1 - \frac{\sum_{i=1}^n \hat{\epsilon}_i^2}{\sum_{i=1}^n (y_i - \bar{y})^2}

R2 R^2 度量了 y y 的变异中被模型解释的比例。其值介于 0 和 1 之间：R2=0 R^2 = 0 意味着模型对数据的解释力与简单取均值无异，R2=1 R^2 = 1 意味着模型完美拟合每一个数据点。但 R2 R^2 有一个致命缺陷——向模型中新增任何自变量（哪怕纯属随机噪音）都会使 R2 R^2 不降反升。因此，单纯追求高 R2 R^2 可能导致"过度拟合"。

调整 R2 R^2

为解决 R2 R^2 的膨胀问题，调整 R2 R^2 (Adjusted R2 R^2 ) 对模型复杂度施加惩罚：

Rˉ2=1−SSR/(n−k−1)SST/(n−1)\bar{R}^2 = 1 - \frac{SSR/(n-k-1)}{SST/(n-1)}

只有当新增变量对拟合的改善足以抵消因损失自由度而付出的代价时，调整 R2 R^2 才会上升。这使得调整 R2 R^2 成为模型比较中比原始 R2 R^2 更为可靠的指标。

回归标准误 (SER)

SER=SSRn−k−1=σ^SER = \sqrt{\frac{SSR}{n-k-1}} = \hat{\sigma}

回归标准误 度量了观测值围绕回归线的平均分散程度，以 y y 的原始单位表示。SER 越小，拟合越紧密。SER 同时也是误差项标准差 σ \sigma 的无偏估计量，是所有系数标准误和推断统计量的基石。

极大似然估计：另一种拟合范式

当模型设定中包含对误差分布的假设时，可以使用极大似然估计 (MLE) 进行拟合。MLE 的核心思路是：选择那些使观测到当前样本的概率（似然函数）最大化的参数值。

在线性回归中，如果假定误差项 ϵ∼N(0,σ2) \epsilon \sim N(0, \sigma^2) ，则对数似然函数为：

ln⁡L(β,σ2)=−n2ln⁡(2π)−n2ln⁡(σ2)−12σ2∑i=1n(yi−xi′β)2\ln \mathcal{L}(\boldsymbol{\beta}, \sigma^2) = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln(\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^n (y_i - \mathbf{x}_i'\boldsymbol{\beta})^2

在 β \boldsymbol{\beta} 维度上最大化对数似然，等价于最小化残差平方和——因此在此设定下，OLS 和 MLE 给出相同的 β^ \hat{\boldsymbol{\beta}} 。但在更复杂的模型（如Logit、Probit、非线性模型）中，OLS 不再适用，MLE 成为主要的拟合手段。MLE 估计量在一般条件下具有一致性、渐近正态性和渐近有效性，是应用计量中不可或缺的工具。

偏差-方差权衡：拟合的深层张力

模型拟合面临一个根本性困境，即偏差-方差权衡。

  • 偏差 指模型形式的错误设定导致的系统性误差。过于简单的模型（如用直线拟合抛物线数据）会产生高偏差——即欠拟合。
  • 方差 指模型估计对样本微小变动的敏感程度。过于复杂的模型（如用 20 次多项式拟合 25 个点）会产生高方差——即过拟合。

好的拟合并非追求训练数据上的完美表现，而是在偏差与方差之间寻求最优平衡。这一思想在机器学习文献中被形式化为预期预测误差的分解：

Expected Prediction Error=Bias2+Variance+Irreducible Error\text{Expected Prediction Error} = \text{Bias}^2 + \text{Variance} + \text{Irreducible Error}

过拟合的模型在训练集上看起来极好（R2 R^2 接近 1），但面对新数据时预测能力急剧下降——即\wiki{泛化能力不足。这正是调整 R2 R^2 和下文要讨论的信息准则所要防范的。

模型选择的信息准则

当需要在多个非嵌套模型之间做出选择时，信息准则 提供了系统性的评判框架。

AIC

由赤池弘次提出的赤池信息准则 (AIC) 基于信息论中的 Kullback-Leibler 散度：

AIC=−2ln⁡L+2kAIC = -2\ln\mathcal{L} + 2k

其中 ln⁡L \ln\mathcal{L} 是最大化的对数似然，k k 是参数个数。第一项奖励拟合优度，第二项惩罚模型复杂度。AIC 的哲学是：在所有候选模型中，AIC 最小的模型预期会最接近"真实"的数据生成过程（在 KL 距离的意义上）。AIC 不要求真正的模型在候选集中，适用于预测导向的模型选择。

BIC

贝叶斯信息准则 (BIC)（或 Schwarz 准则）的惩罚力度更强：

BIC=−2ln⁡L+kln⁡nBIC = -2\ln\mathcal{L} + k\ln n

当 n≥8 n \ge 8 时，kln⁡n>2k k\ln n > 2k ，因此 BIC 相比 AIC 更倾向于选择更简洁的模型。BIC 的推导基于贝叶斯因子，其隐含假设是真正的模型存在于候选集中（且样本量充分大时 BIC 会以概率 1 选出真模型），因此 BIC 更偏向于模型一致性，而非预测最优。

拟合后的诊断与验证

拟合不是终点。一个负责任的实证分析必然包含残差诊断：

  • 残差图：残差 vs. 拟合值图可以暴露非线性模式、遗漏变量和异方差性。
  • Q-Q 图：检查残差的正态性假设是否合理。
  • 交叉验证：将数据划分为训练集和测试集（或使用 k 折），在训练集上拟合、在测试集上评估，以衡量模型的泛化能力。留一法交叉验证 (LOOCV) 是 n n 较小情况下的一种极限方案。

若诊断发现问题——例如残差呈漏斗形（异方差）或存在系统性的弯曲模式（非线性的证据）——则应返回修改模型设定，重新拟合。模型拟合本质上是一个迭代过程：设定 → 拟合 → 诊断 → 修正 → 再拟合，循环往复，直到模型在统计学意义和实质意义上都令人满意为止。这既是科学，也是艺术。