KNOWECON WIKI

ARTICLE

样条回归

样条回归 (Spline Regression) 样条回归是一种非参数回归方法，通过拟合分段的低阶多项式来逼近未知的回归函数 f(x) = E[Y X = x]，在保持整体平滑性的同时避免过度拟合。其名称源于工程领域的"样条"概念——绘图员使用弹性细木条（样条）穿过一系列固定点，使曲线自然平滑。将这一思想引入统计建模后，样条回归已成为广义加性模型（GAM）和

浏览 6 更新 2025-10-26

样条回归 (Spline Regression)

样条回归是一种非参数回归方法，通过拟合分段的低阶多项式来逼近未知的回归函数 f(x)=E[Y∣X=x]f(x) = \mathbb{E}[Y \mid X = x]，在保持整体平滑性的同时避免过度拟合。其名称源于工程领域的"样条"概念——绘图员使用弹性细木条（样条）穿过一系列固定点，使曲线自然平滑。将这一思想引入统计建模后，样条回归已成为广义加性模型（GAM）和现代非参数计量经济学的核心工具之一。

基本思想：分段多项式

普通多项式回归使用全局的 pp 阶多项式 f(x)=β0+β1x+⋯+βpxpf(x) = \beta_0 + \beta_1 x + \cdots + \beta_p x^p 拟合数据。当 pp 较小时拟合能力不足（欠拟合），pp 较大时曲线在尾部剧烈震荡（过拟合）。样条回归的解决思路是将自变量 XX 的支撑集划分为若干区间，在每个区间上拟合一个独立低阶多项式，并在区间连接点（称为节点，knots）处施加平滑性约束。

具体而言，假设在 XX 的定义域上放置 KK 个内部节点 ξ1<ξ2<⋯<ξK\xi_1 < \xi_2 < \cdots < \xi_K，将定义域分为 K+1K+1 个区间。在每个区间上拟合一个 dd 阶多项式，并在节点处要求函数值及前 d−1d-1 阶导数连续。最常用的选择是三次样条（Cubic Spline, d=3d=3），它在节点处保持函数值、一阶导数和二阶导数连续，整体曲线具有 C2C^2 光滑性。

截断幂基与B-样条

三次样条的一个直观基函数表达是截断幂基（truncated power basis）。设基础多项式为 1,x,x2,x31, x, x^2, x^3，再加上针对每个节点的截断幂项：

f(x)=β0+β1x+β2x2+β3x3+∑k=1Kθk(x−ξk)+3f(x) = \beta_0 + \beta_1 x + \beta_2 x^2 + \beta_3 x^3 + \sum_{k=1}^{K} \theta_k (x - \xi_k)_{+}^{3}

其中 (u)+3=max⁡(0,u)3(u)_{+}^{3} = \max(0, u)^3。当 xx 穿过节点 ξk\xi_k 时，该项开始"激活"，使函数在该节点之后的三次项系数发生偏移。由于截断幂项在节点处函数值和前两阶导数均为零，整条曲线自动满足 C2C^2 光滑性。截断幂基直观但数值稳定性较差，实际计算中更倾向于使用B-样条基（B-spline）。B-样条基于递推关系构造，具有局部支撑性——每个基函数仅在相邻区间上非零，因而数值行为更优良。

节点选择与自由度

节点数量和位置是样条回归的核心调节参数。节点越多，分段越细，灵活度越高但方差增大；节点越少，曲线越光滑但可能遗漏局部特征。常用策略包括：等间距节点、基于分位数的节点（保证各区间样本量均衡），以及通过交叉验证或AIC、BIC等信息准则数据驱动选择。固定节点的三次样条自由度为 K+4K + 4。从惩罚视角看，自由度也可表示为 tr(Sλ)\mathrm{tr}(S_\lambda)，其中 SλS_\lambda 是平滑矩阵。

自然样条与边界行为

全局多项式在数据边界处往往表现糟糕——曲线在两端剧烈发散，即Runge现象。标准三次样条虽然在内部光滑，但在第一个节点之前和最后一个节点之后的区间上仍是三次函数，边界外推不稳定。自然样条（Natural Cubic Spline）对此做了修正：它在边界区间上施加线性约束，强制 f′′(x)f''(x) 在边界节点处为零。这一约束以较小的偏差增加换取了方差的大幅降低，使自然样条成为应用中最常用的形式之一。

惩罚样条与平滑样条

当节点趋于无穷时，最小二乘拟合退化为插值。为避免这一极端，可以引入正则化思想。平滑样条（Smoothing Spline）求解惩罚最小二乘问题：

min⁡f∈C2∑i=1n(yi−f(xi))2+λ∫[f′′(t)]2dt\min_{f \in C^2} \sum_{i=1}^{n} \left( y_i - f(x_i) \right)^2 + \lambda \int \left[ f''(t) \right]^2 dt

其中 λ≥0\lambda \geq 0 是平滑参数，控制拟合优度与光滑度的权衡：λ→0\lambda \to 0 退化为插值，λ→∞\lambda \to \infty 趋于线性回归。该问题的解是以所有数据点为节点的自然三次样条。惩罚样条（P-spline）则固定较少的节点，在系数上施加差分惩罚，计算效率更高，在大数据场景下更为实用。

样条回归与核方法的比较

样条回归与核回归同为非参数回归的主要方法，但理念存在本质差异。样条回归是全局优化方法——通过最小化全局目标函数一次性确定所有系数；核回归则是局部方法——在每个点处仅使用邻域内的数据加权平均。自然样条通过边界线性约束自动处理边界问题；核回归在边界处需要特殊修正。两者在一定的光滑性条件下均达到最优收敛速率 Op(n−4/5)O_p(n^{-4/5})，但样条回归在解释性和扩展性上更受青睐。

多元样条与加性模型

将样条推广到多元情形面临维数诅咒。张量积样条将各维基函数逐项相乘，基函数数量随维数指数增长。实践中，广义加性模型（GAM）采用加性分解 f(x1,…,xp)=α+∑fj(xj)f(x_1, \ldots, x_p) = \alpha + \sum f_j(x_j)，回避了维数诅咒但牺牲了交互效应。若需捕捉少量交互，可加入二维张量积项。

应用场景

样条回归在多个学科中具有广泛应用：在计量经济学中用于估计非线性恩格尔曲线、生产函数和环境库兹涅茨曲线，在断点回归设计（RDD）中拟合驱动变量与结果变量的关系；在流行病学中用于剂量-反应关系建模；在金融工程中用于利率期限结构拟合；在计算机图形学中，B-样条和NURBS是CAD表示曲面的标准工具。

局限性与注意事项

样条回归的主要局限包括：节点选择敏感，不恰当的节点选择可能导致严重偏差或方差；边界外推风险高，应严格限制在数据范围内使用自然样条；多元扩展因维数诅咒而困难；系数缺乏直接的边际效应解释，建议报告偏效应图或平均边际效应。

软件实现

主流统计软件均有成熟实现：R的\verb|splines|包（\verb|bs()|和\verb|ns()|）与\verb|mgcv|包（\verb|gam()|）、Python的\verb|scipy.interpolate|与\verb|statsmodels.gam|、MATLAB的Curve Fitting Toolbox以及Stata的\verb|mkspline|命令。

综上，样条回归凭借灵活的局部适应性、良好的数学性质和成熟的计算实现，成为非参数回归中最可靠的方法之一，是众多学科处理非线性关系的首选工具。