非参数回归

非参数回归 (Nonparametric Regression)

非参数回归是计量经济学和统计学中的一类回归分析方法，其核心特征是不对回归函数的具体形式（如线性、多项式或指数形式）施加任何预设的参数假设。与传统普通最小二乘法中假设 $Y = \beta_0 + \beta_1 X + \varepsilon$ 的固定结构不同，非参数回归允许数据自身"说话"，仅施加光滑性等弱假设，使模型形式完全由样本驱动。这种灵活性使其在探索性数据分析、政策评估和机器学习领域具有独特的价值。

核心思想：从参数约束到数据驱动

非参数回归的目标是在不做函数形式假设的前提下，估计条件期望 $m(x) = \mathbb{E}[Y \mid X = x]$。模型一般形式为 $Y_i = m(X_i) + \varepsilon_i$，其中 $m(\cdot)$ 是一个未知的光滑函数，仅假设其具有某种光滑度（如连续、二阶可导等），而非指定其具体解析形式。这一设定极大扩展了模型的适用范围，能捕捉到参数模型可能遗漏的复杂非线性模式（如多峰、突变边界和非对称效应），但也以更大的样本量需求为代价——维数诅咒指出，随着协变量维度增加，数据在高维空间中迅速稀疏化，使非参数估计的收敛速度呈指数下降。

主要方法体系

核回归：最经典的非参数方法，以 Nadaraya-Watson 估计量 $\hat{m}(x) = \frac{\sum_{i=1}^n K_h(x - X_i) Y_i}{\sum_{i=1}^n K_h(x - X_i)}$ 为代表，其中 $K_h(\cdot)$ 为核函数（如 Gaussian 核、Epanechnikov 核），通过给靠近目标点 $x$ 的观测值赋予更高权重来实现局部平均。局部多项式回归在此基础上进一步改进，在每个目标点 $x$ 处求解局部加权最小二乘：$\min_{\beta} \sum_{i=1}^n (Y_i - \beta_0 - \beta_1 (X_i - x) - \cdots)^2 K_h(X_i - x)$，能同时给出函数值及其导数的估计，并在边界处表现更优。Cleveland 的 LOESS 和 LOWESS 算法是该思想的工程化实现。

样条方法：通过分段多项式在节点（knots）处光滑连接来逼近 $m(x)$。B-样条基函数提供数值稳定的基底，而光滑样条通过惩罚粗糙度 $\min_m \sum_{i=1}^n (Y_i - m(X_i))^2 + \lambda \int [m''(x)]^2 dx$ 在拟合度与光滑度之间寻求平衡。惩罚样条（P-splines）和广义可加模型（GAM）将非参数思想推广至多变量设定和指数族分布。

级数/筛方法：将未知函数在一组基函数（傅里叶级数、多项式基、小波基等）下展开 $m(x) \approx \sum_{j=1}^J \theta_j \phi_j(x)$，随样本量增长逐步增加基函数个数 $J$，使之渐近逼近真实函数。该方法与高维统计中的 lasso 和 ridge 惩罚结合后，能部分缓解维数诅咒。

带宽选择与推断

无论是核回归还是局部多项式回归，带宽 $h$ 的选择都是核心实践问题：过小的 $h$ 导致欠平滑（高方差、过拟合），过大的 $h$ 导致过平滑（高偏差、欠拟合）。常用选择准则包括交叉验证（CV）最小化预测误差、广义交叉验证（GCV），以及基于渐近均方误差的 plug-in 方法。非参数框架下的统计推断（置信带构造和假设检验）比参数情形更为复杂，通常依赖渐近正态理论和 bootstrap 重抽样。

在经济学的应用场景中，非参数回归广泛用于断点回归设计的稳健性检验、政策评估中的反事实趋势拟合、工资分布的分解分析，以及与倾向得分匹配结合的处理效应估计。它在放宽函数形式假设的同时，也对研究者的计算能力和样本规模提出了更高要求，是现代应用计量不可或缺的工具。

与参数方法的比较与选择

非参数与参数回归的选择涉及偏差-方差权衡。参数模型若设定正确，估计量收敛速度为 $O(n^{-1/2})$，效率极高且解释清晰；但模型误设时产生系统性偏差，在大样本下亦不会消失。非参数回归虽无模型误设风险，但收敛速度随维度增加而减慢——一元情形下核回归的最优收敛速度为 $O(n^{-2/5})$，远慢于参数情形，且在高维空间中因维数诅咒而急剧恶化。实践中，半参数模型（如部分线性模型 $Y = X\beta + g(Z) + \varepsilon$，其中 $g(\cdot)$ 为非参数部分）提供了折中方案，在保留部分结构可解释性的同时，对关键变量维持灵活的函数形式。此外，机器学习领域的随机森林、梯度提升和深度神经网络本质上也是非参数方法的延伸，其在高维预测和分类任务中的成功应用推动了计量经济学非参数方法的发展。在实证研究中，建议先以非参数估计探索数据的潜在模式，再以参数模型进行结构化推断，二者互补而非替代。

核函数与渐近性质

核函数 $K(\cdot)$ 的选择在有限样本下影响估计的平滑特性，但渐近理论表明其影响远小于带宽的选择。常用的二阶核函数满足 $\int$ K(u)du = 1、$\int$ uK(u)du = 0 和有限非零的二阶矩，其中 Epanechnikov 核在均方误差意义上是最优的（在二阶核类中）。然而实践中 Gaussian 核因其无穷支撑和光滑性而被广泛采用。在渐近框架下，非参数回归估计量在适当带宽条件下具有一致性和渐近正态性：当 $n \to \infty$、$h \to 0$ 且 $nh \to \infty$ 时，$\hat{m}(x)$ 依概率收敛于 $m(x)$，且经标准化后趋向正态分布。这一性质为构造逐点置信区间和进行假设检验提供了理论基础。值得注意的是，欠平滑策略——选择略小于最优MSE的带宽——可在不影响一阶渐近分布的前提下消除估计偏差，从而简化推断过程，这是实证实践中常采用的技术手段。此外，非参数回归在劳动经济学中常用于估计教育回报率的年龄-经验剖面，在金融计量中用于波动率曲面建模，在环境经济学中拟合污染-健康剂量反应关系，展现了跨领域的广泛适用性。