半参数估计

半参数估计（Semiparametric Estimation）是介于参数与非参数估计之间的一类统计推断方法。参数方法假定数据服从有限维参数族，效率高但偏误风险大；非参数方法灵活但面临维数诅咒。半参数方法在两者间寻求平衡——它将模型分解为参数分量与非参数分量，参数部分保障解释性，非参数部分吸收数据的复杂特征，在稳健性与有效性之间取得折中。

一、基本框架

半参数模型的一般形式可抽象为 $Y = g(X, \theta) + h(Z) + \varepsilon$，参数分量 $\theta$ 属于有限维空间，非参数分量 $h(\cdot)$ 属于无限维函数空间。这一分拆使研究者保留感兴趣变量的参数化解释，同时对控制变量保持灵活适应。

识别性是首要理论问题——参数分量必须被数据唯一决定。Robbinson（1988）通过对均值方程求条件期望并相减来消除非参数部分，将参数识别转化为条件矩条件。识别依赖于参数与非参数部分的正交性条件，这是半参数有效估计的根基。

二、主要模型类型

部分线性模型（Partially Linear Model, PLM）是最早也是应用最广的半参数模型，其形式为 $Y = X^T\beta + g(Z) + \varepsilon$。其中 $X$ 为核心解释变量向量，其系数 $\beta$ 具有直接经济含义；$Z$ 为控制变量向量，函数 $g(\cdot)$ 形式未知。这一模型特别适用于研究收入对消费的影响——研究者希望获得收入弹性的点估计（参数部分），同时允许家庭特征对消费的影响呈非线性（非参数部分）。该模型通过残差投影法进行估计：先对 $Y$ 和 $X$ 分别关于 $Z$ 进行非参数回归得到残差，再对残差作参数回归，由此获得 $\beta$ 的 $\sqrt{n}$ 一致估计量。

单指数模型（Single-Index Model）的形式为 $Y = g(X^T\beta) + \varepsilon$，其中连接函数 $g(\cdot)$ 形式未知，指数组合 $X^T\beta$ 起到降维作用。这一模型将多维协变量的影响浓缩为一维指数，使非参数回归避开维数诅咒。常见估计方法包括Ichimura（1993）提出的非线性最小二乘法和Powell、Stocker与Stoker（1989）提出的平均导数法。在离散选择行为建模中，单指数模型无需预先设定分布函数形式，较之Probit或Logit模型更为稳健。

变系数模型（Varying Coefficient Model）写为 $Y = X^T\beta(Z) + \varepsilon$，允许回归系数随 $Z$ 变化——$\beta(Z)$ 是 $Z$ 的未知函数。这一框架源于纵向数据分析与函数型数据分析，在经济学中用于研究政策效应如何随实施时间变化，在环境流行病学中用于分析空气污染物浓度对健康的影响是否随温度和季节发生漂移。

三、估计方法

核估计方法在半参数推断中占据核心地位。以部分线性模型为例，Robbinson（1988）的估计策略分为两步：第一步，使用核估计或局部多项式估计计算条件均值 $\hat{E}(Y|Z)$ 和 $\hat{E}(X|Z)$，得到残差 $\tilde{Y} = Y - \hat{E}(Y|Z)$ 和 $\tilde{X} = X - \hat{E}(X|Z)$；第二步，对 $\tilde{Y}$ 关于 $\tilde{X}$ 进行最小二乘回归，得到 $\hat{\beta} = (\sum \tilde{X}_i \tilde{X}_i^T)^{-1} \sum \tilde{X}_i \tilde{Y}_i$。该估计量具有 $\sqrt{n}$ 收敛速度与渐近正态性，且其渐近方差与真实非参数部分形式无关，达到了半参数有效性的信息下界。核函数的选择（Epanechnikov核、高斯核）和带宽选取（交叉验证、插件法）对有限样本表现有显著影响，带宽过大引入偏误，过小则增大方差。

级数估计法利用基函数展开近似非参数部分。傅里叶基适合周期平滑函数，样条基函数（特别是B样条和惩罚样条）在非周期数据中表现优异，小波基则在函数具有局部尖峰或突变时具有优势。级数估计通过选择截断参数控制平滑度，计算效率远高于核方法，尤其适合样本量巨大的应用场景。Chen（2007）系统总结了级数估计在半参数模型中的渐近性质，证明在适当的正则条件下，参数分量的估计达到 $\sqrt{n}$ 收敛，且级数项数的增长速度需满足 $K \to \infty$ 且 $K^3/n \to 0$ 等条件。

经验似然方法（Empirical Likelihood）是半参数推断的第三种途径。它通过最大化满足模型条件矩约束的经验似然函数来估计参数，无需直接估计非参数部分，且在置信域构造中不需要估计渐近方差。相比基于核或级数的两步法，经验似然方法在小样本中通常表现出更好的覆盖精度和形状对称性，但其计算在大数据场景下收敛较慢。

四、渐近理论

在正则条件下，参数分量以 $\sqrt{n}$ 收敛至真实值，不受非参数部分估计误差的影响。这一性质源于"Neyman正交性"——参数分量的得分函数与所有可能的扰动方向正交，使非参数部分的估计误差在影响参数估计的一阶项中互相抵消。

半参数有效性通过最不利子模型定义：在所有一维子参数化路径中，Fisher信息量的下确界即为半参数信息量。当估计量渐近方差达到该信息量之逆时，称为半参数有效。Robbinson估计量在部分线性模型中具有半参数有效性。

五、应用

劳动经济学中估计教育回报率时，研究者使用部分线性模型控制家庭背景（非参数部分），同时保留教育年限的线性系数以获得可直接解释的回报率估计。Heckman等（1997）利用半参数方法处理倾向得分，实现了条件平均处理效应的因果识别。

生物统计中，Cox比例风险模型的基准风险函数形式自由（非参数），协变量的对数风险比为参数部分，通过偏似然函数估计。广义加性模型允许对多个变量施加平滑函数，在基因组研究中广泛用于调整人口分层效应。

金融领域利用半参数ARCH/GARCH模型捕捉波动率时变特征，无需假设特定分布形状。机器学习中的可解释性建模也吸收半参数思路，将"黑箱"部分限定于高复杂性子空间，对关键变量保持透明参数化形式。

六、局限与展望

半参数方法的核心挑战在于带宽选择与调参问题。无论是核方法的带宽、级数估计的截断参数，还是惩罚项的平滑参数，均需在偏误与方差之间做出权衡。尽管交叉验证和广义交叉验证在实践中提供了一定的自动化解决方案，但理论层面缺乏适用于所有半参数模型的统一最优准则。当非参数部分的维度高于三或四时，维数诅咒重新成为严峻问题——部分线性模型的非参数部分若涉及多个连续变量，局部平滑需要在超高维空间中运行，样本稀疏性导致估计精度急剧下降。

高维半参数模型是近年研究的前沿方向。当协变量个数 $p$ 超过样本量 $n$ 时，传统的半参数估计方法失效。Lasso、SCAD和MCP等惩罚方法被引入半参数框架，通过对参数施加稀疏性惩罚实现变量选择，同时对非参数部分保持灵活性。Belloni、Chernozhukov与Hansen（2014）提出的Post-Double-Selection方法在高维控制变量环境中实现了对处理效应的有效估计。随着深度学习与神经网络的兴起，使用深度网络逼近非参数部分、保留关键参数的线性结构的半参数深度学习模型，正在因果推断和结构估计中开辟新的可能性。

总结

半参数估计在参数模型的解释效率与非参数模型的灵活稳健之间搭建了一座桥梁。通过将模型分解为有限维参数分量与无限维非参数分量，研究者得以在感兴趣的核心变量上保持简洁的结构假设，同时对复杂或高维的控制变量保留充分的灵活适应空间。部分线性模型、单指数模型和变系数模型各自从不同角度实现了这一平衡，而核方法、级数估计和经验似然则提供了丰富的推断工具库。尽管带宽选择和高维扩展仍是未完全解决的挑战，半参数方法以其稳健的理论基础和灵活的应用形态，在计量经济学、生物统计与数据科学的诸多前沿领域持续发挥着不可替代的作用。