KNOWECON WIKI

ARTICLE

简约原则

简约原则 (Principle of Parsimony) 简约原则（Principle of Parsimony），在统计学和计量经济学中又称节俭原则，是指在能够充分解释数据的前提下，应优先选择参数更少、结构更简单的模型。该原则是模型选择与统计推断的核心指导思想之一，其哲学根源可追溯至中世纪的奥卡姆剃刀原则（Occam's Razor）——"如无必要，勿增

浏览 4 更新 2026-07-18

简约原则 (Principle of Parsimony)

简约原则（Principle of Parsimony），在统计学和计量经济学中又称节俭原则，是指在能够充分解释数据的前提下，应优先选择参数更少、结构更简单的模型。该原则是模型选择与统计推断的核心指导思想之一，其哲学根源可追溯至中世纪的奥卡姆剃刀原则（Occam's Razor）——"如无必要，勿增实体"。在经济学定量研究中，简约原则并非简单地追求模型越小越好，而是要求在拟合优度与模型复杂度之间实现最优权衡。

理论动机：偏差-方差权衡

简约原则的统计学基础来自偏差-方差权衡（Bias-Variance Tradeoff）。设真实数据生成过程为 Y=f(X)+εY = f(X) + \varepsilon，给定一个估计模型 f^\hat{f}，其在新样本 X0X_0 上的期望预测误差可分解为：

E[(Y0−f^(X0))2]=(f(X0)−E[f^(X0)])2⏟偏差2+E[(f^(X0)−E[f^(X0)])2]⏟方差+σε2⏟不可约误差\mathbb{E}\left[(Y_0 - \hat{f}(X_0))^2\right] = \underbrace{\left(f(X_0) - \mathbb{E}[\hat{f}(X_0)]\right)^2}_{\text{偏差}^2} + \underbrace{\mathbb{E}\left[(\hat{f}(X_0) - \mathbb{E}[\hat{f}(X_0)])^2\right]}_{\text{方差}} + \underbrace{\sigma^2_{\varepsilon}}_{\text{不可约误差}}

增加模型中的参数数量通常能降低偏差（模型更灵活，能拟合更复杂的模式），但同时会增加方差（模型对训练数据的随机噪声更加敏感）。简约原则要求在边际上，增加一个参数的偏差降低必须大于其带来的方差增加，否则就应保留更简约的模型。过度参数化的极端情形即过拟合（Overfitting）：样本内拟合极好，但样本外预测能力急剧恶化。

模型选择准则

实践中，简约原则通过惩罚复杂度的信息准则来实现：

  • 赤池信息准则 (AIC)：AIC=−2log⁡(L)+2k\text{AIC} = -2\log(L) + 2k，其中 LL 为似然函数的最大值，kk 为参数个数。AIC 从信息论角度度量模型的相对质量，惩罚项 2k2k 体现简约偏好。AIC 最小化的模型被认为是最优的。
  • 贝叶斯信息准则 (BIC)：BIC=−2log⁡(L)+klog⁡(n)\text{BIC} = -2\log(L) + k \log(n)，其中 nn 为样本量。BIC 对复杂度的惩罚力度大于 AIC（当 n≥8n \ge 8 时），更倾向于选择更简约的模型。BIC 在大样本下具有一致性——会以概率1选出真模型（当真模型在候选集中时）。
  • 调整 R2R^2：在线性回归模型中，调整 R2=1−SSE/(n−k−1)SST/(n−1)R^2 = 1 - \frac{\text{SSE}/(n-k-1)}{\text{SST}/(n-1)}，对新增变量施加自由度惩罚，防止机械地通过加变量提高 R2R^2。

在计量经济学中的应用

简约原则在计量经济学建模中有多重体现：

  1. 从一般到特殊 (General-to-Specific) 建模：由大卫·亨德利（David Hendry）推广的伦敦政治经济学院（LSE）方法论，强调从包含大量解释变量和滞后项的一般模型出发，通过一系列统计检验逐步剔除不显著的变量，最终得到一个简约但数据一致的模型。
  2. 向量自回归 (VAR) 的滞后阶数选择：VAR 模型中，滞后阶数 pp 的选择依赖 AIC、BIC 等信息准则，过大的 pp 会消耗大量自由度，降低预测精度。
  3. 简约性与因果识别：在工具变量回归中，过多的工具变量可能导致"弱工具变量"问题和有限样本偏差。唐纳德与纽厄尔（Donald and Newey）提出的近似均方误差最小化准则即是在工具变量数量上践行简约原则。
  4. 协整分析：恩格尔-格兰杰两步法和约翰森检验中，协整关系的确定本质上也是简约原则的体现——寻找用最少共同趋势解释最多变量动态的表示。

与奥卡姆剃刀的区别

虽然简约原则常被视为奥卡姆剃刀的统计化表达，但二者存在重要差异。奥卡姆剃刀是本体论命题，主张世界本身是简单的；简约原则是方法论命题，主张在建模实践中追求简单性以换取更稳健的推断与预测——它不预设真实世界必然是简单的。正如统计学家乔治·博克斯（George Box）的名言："所有模型都是错的，但有些是有用的。"简约原则帮助我们在众多错误的模型中，选出最有用且最不脆弱的那个。