无约束回归

无约束回归（Unconstrained Regression）是指在线性回归模型中，对回归系数不施加任何等式约束或不等式约束的回归分析方法，是参数自由估计的统称。它是计量经济学和统计学中最基础、最常用的回归形式，以普通最小二乘法（Ordinary Least Squares, OLS）为代表。区别于约束估计，无约束回归不对系数符号、大小或线性组合施加先验限制，因此其估计结果完全反映样本数据中的统计关系。与约束回归（如岭回归、LASSO、自变量选择回归或不等式约束回归）不同，无约束回归允许所有解释变量的系数在实数范围内自由取值，完全由样本数据决定其估计值，不引入任何先验信息或外部限制。从哲学角度看，无约束回归体现了"让数据说话"的实证主义理念，在缺乏理论指导或理论关系不确定时尤为适用。

基本原理

无约束回归的标准模型形式为：

其中 $y$ 是 $n\times 1$ 的被解释变量向量，$X$ 是 $n\times k$ 的解释变量矩阵（通常包含常数项），$\beta$ 是 $k\times 1$ 的待估系数向量，$\varepsilon$ 是 $n\times 1$ 的随机误差项向量。在经典假设下，OLS估计量 $\hat{\beta} = (X'X)^{-1}X'y$ 是最佳线性无偏估计量（BLUE），即高斯-马尔可夫定理所保证的性质。该估计量的方差—协方差矩阵为 $Var(\hat{\beta}|X) = \sigma^2 (X'X)^{-1}$，其中 $\sigma^2$ 可通过 $s^2 = \frac{e'e}{n-k}$ 进行估计，$e$ 为残差向量。无约束回归的残差平方和（RSS）是所有线性无偏估计类中最小的，这一性质使得OLS成为基准估计方法。

与约束回归的对比

约束回归对系数施加额外条件，常见形式包括：线性等式约束（如 $R\beta = r$）、不等式约束（如 $\beta_j \geq 0$）、或惩罚型约束（如岭回归的 $\sum\beta_j^2 \leq t$ 或 LASSO 的 $\sum|\beta_j| \leq t$）。无约束回归则不施加任何此类限制，每个系数仅由最小化残差平方和确定。当约束条件正确时，约束估计量更有效，其方差小于无约束估计量；但当约束条件错误时，约束估计量将有偏且不一致，此时无约束回归更为稳健。实际应用中，研究者常通过沃尔德检验（Wald Test）、拉格朗日乘子检验（LM Test）或似然比检验（Likelihood Ratio Test）来检验约束是否成立。这三种检验在大样本下渐近等价，但在小样本性质上有所差异。沃尔德检验仅需估计无约束模型，LM检验仅需估计约束模型，而似然比检验则需同时估计两个模型。

无约束回归的假设条件

为保证OLS估计量的优良性质，无约束回归通常依赖以下经典假设：

1. 线性性：模型对参数而言是线性的，即被解释变量可表示为参数的线性组合。
2. 严格外生性：$E(\varepsilon|X)=0$，即误差项的条件均值为零，保证估计量的无偏性。该假设在时间序列模型中往往不成立（如自回归模型），此时需要使用其他方法。
3. 球形误差：误差项同方差且无自相关，即 $Var(\varepsilon|X)=\sigma^2 I_n$。该假设确保OLS估计量在所有线性无偏估计中方差最小。
4. 满秩：$X$ 列满秩，确保 $(X'X)$ 可逆，使得估计量唯一存在。当存在完全多重共线性时，该假设被违反，OLS无法给出唯一解。
5. 正态性（可选）：$\varepsilon|X \sim N(0,\sigma^2 I)$，用于精确的小样本推断和t检验、F检验的推导。

当这些假设不成立时，研究者可能转向广义最小二乘法（GLS）、异方差稳健标准误、聚类标准误或约束回归等方法进行处理。例如，异方差存在时可采用怀特（White）稳健标准误进行调整；自相关存在时可采用纽韦—韦斯特（Newey-West）估计量来获得一致的标准误估计。

应用场景

无约束回归广泛应用于经济预测、政策评估、社会科学因果推断、生物统计和工程建模等领域。在探索性分析阶段，研究者通常先进行无约束回归，再根据结果逐步施加约束或进行模型选择。在机器学习语境中，无约束回归对应普通线性回归，而约束回归则对应正则化方法（如岭回归和LASSO），后者通过引入偏误来降低方差，从而提升预测性能。无约束回归也是结构方程模型、联立方程模型、面板数据模型和时间序列分析等更复杂方法的基础构建块。例如，在格兰杰因果检验中，无约束回归和约束回归的比较构成了检验的核心逻辑。在方差分析（ANOVA）中，无约束回归等价于全模型，而约束回归则对应降阶模型，两者之差用于构造F统计量。在实验设计中，无约束回归可直接用于处理组间差异的估计和假设检验。此外，工具变量回归的两阶段最小二乘法中也包含了无约束回归的步骤。

局限性

无约束回归的主要局限包括以下方面：第一，对多重共线性敏感，当解释变量之间存在高度相关时，系数估计方差急剧增大，导致估计不稳定且难以解释；第二，在 $p > n$ 的高维情形下无法直接使用，因为此时 $(X'X)$ 不可逆，OLS不存在唯一解；第三，容易过拟合，尤其当模型包含大量无关变量时，无约束回归倾向于拟合噪声而非信号；第四，对异常值敏感，单个极端观测值可能大幅改变系数估计结果。这些局限推动了约束回归和正则化方法的蓬勃发展。尽管如此，无约束回归作为回归分析的基准方法，在理论研究和实践应用中仍然占据核心地位，是所有回归方法比较的参照标准。