半参数统计

半参数统计（Semiparametric Statistics）是数理统计学的一个重要分支，介于参数统计与非参数统计之间。半参数模型同时包含参数分量与非参数分量，兼具参数模型的可解释性与非参数模型的灵活性，在生物统计、计量经济学、生存分析等领域有广泛应用。半参数方法的核心思想是：对研究关注的核心关系采用参数形式建模以保证效率与可解释性，同时对难以参数化的干扰因素采用非参数形式处理以避免模型误设。

模型框架

半参数模型的一般形式可表示为：

其中 $\beta$ 为有限维参数向量，$g(\cdot)$ 为未知的光滑函数（非参数分量），$\epsilon$ 为随机误差项。该模型的核心在于将解释变量分解为两部分：一部分以线性参数形式进入模型，另一部分通过未知函数形式灵活捕捉复杂关系。与纯参数模型相比，半参数模型不需要对函数形式做出严格假定；与纯非参数模型相比，半参数模型保留了参数分量的结构，从而在高维情况下避免了维数诅咒。从理论角度看，半参数模型的结构使其能够同时实现 $\sqrt{n}$-相合的参数估计速率与非参数分量的逐点一致估计。

主要模型类型

部分线性模型

部分线性模型是半参数统计中最基础也是最经典的形式：

其中 $X$ 为参数部分的协变量，$Z$ 为非参数部分的协变量，$m(\cdot)$ 为未知光滑函数。该模型允许研究者在控制非线性混杂因素的同时，估计关键变量的线性效应。部分线性模型的估计通常采用剖面最小二乘法：首先在固定 $\beta$ 的条件下用核方法或样条方法估计 $m(\cdot)$，然后代入目标函数求解 $\beta$。该模型在经济学中常用于估计教育回报率，其中 $Z$ 捕捉工作经验与收入的非线性关系。

单指标模型

单指标模型假设响应变量与协变量的关系通过一个未知的链接函数与线性组合相联系：

该模型的优势在于避免了"维数诅咒"问题，将高维协变量信息压缩为一维指标。单指标模型的识别要求 $\beta$ 满足某种归一化条件（如 $\|\beta\| = 1$ 或第一个分量为 1）。常见的估计方法包括 Ichimura 提出的非线性最小二乘法和 Powell-Stock 提出的密度加权法。该模型在金融风险管理和消费者行为研究中具有广泛应用。

Cox比例风险模型

Cox比例风险模型是生存分析中最著名的半参数模型：

其中基准风险函数 $h_0(t)$ 为非参数分量，而协变量效应以参数形式进入模型。该模型广泛应用于医学临床试验中的生存数据分析。Cox 模型的估计基于偏似然函数（Partial Likelihood），该函数巧妙地消除了基准风险函数中的非参数分量，使得 $\beta$ 的估计不依赖于 $h_0(t)$ 的具体形式。偏似然估计量的渐近性质由 Andersen-Gill 理论给出。

变系数模型

变系数模型是半参数模型的重要推广：

其中系数 $\beta(Z)$ 随某个协变量 $Z$（通常称为效应修饰因子）光滑变化。该模型特别适合于分析交互效应和异质性处理效应，在纵向数据分析中用于建模时间变化的协变量效应。

估计方法

半参数模型的估计通常需要结合参数与非参数技术：

剖面似然方法（Profile Likelihood）是半参数估计的核心技术之一。其基本思路是将非参数分量视为 nuisance 参数，通过将其替换为某种非参数估计（如核估计或样条估计），构造关于参数分量的似然函数。剖面似然方法在部分线性模型和 Cox 模型中有成熟应用，其参数分量可以达到 $\sqrt{n}$-相合收敛速度。

广义估计方程（Generalized Estimating Equations, GEE）在纵向数据分析中广泛使用，通过构造关于参数的正交得分函数，实现对参数分量的有效估计。GEE 的核心优势在于即使工作相关结构设定有误，参数估计仍具有相合性。

局部似然方法（Local Likelihood）将局部加权思想引入似然框架，允许参数随协变量取值平滑变化。该方法在广义加性模型（GAM）和变系数模型的估计中发挥重要作用。

核辅助估计方法利用非参数核回归作为中间步骤，构造参数分量的估计方程。其代表性方法包括边缘积分方法（Marginal Integration）和平均导数方法（Average Derivative Estimation），后者在单指标模型中尤为有效。

理论性质

半参数估计量在适当正则性条件下具有 $\sqrt{n}$-相合性和渐近正态性，其收敛速度与参数模型相当。对于非参数分量，收敛速度通常慢于参数率，依赖于光滑函数的维数与光滑度。具体来说，若非参数分量的维数为 $d$，光滑度（连续可微阶数）为 $p$，则其最优收敛速度为 $n^{-p/(2p+d)}$。这一速率来自非参数回归的 Stone 最优收敛速度理论。

半参数效率界（Semiparametric Efficiency Bound）是刻画半参数模型估计精度的关键概念。它表示在已知非参数分量的情况下，参数分量的最优估计所能达到的最小渐近方差。有效得分函数与影响函数（Influence Function）是推导半参数效率界的重要工具。半参数效率界可以通过对所有的正则扰动方向计算最不利参数曲线的 Fisher 信息得到。这一理论框架由 Begun、Hall、Huang 和 Wellner 等学者系统建立。

应用领域

半参数统计在多个学科中有重要应用：

生物统计学中，Cox 模型被广泛用于药物疗效评估和疾病预后分析。部分线性模型用于校正混杂变量后估计剂量-反应关系。在基因组学中，半参数方法用于处理基因表达数据的高维特征与生存时间之间的复杂关系。

计量经济学中，半参数方法用于估计消费函数、劳动力供给模型以及生产函数等。单指标模型常用于处理样本选择偏差问题。部分线性模型被应用于 Did 估计中的非线性趋势调整。处理效应估计中，倾向性得分方法的半参数化扩展通过引入非参数分量提高了估计的稳健性。

环境统计学中，半参数方法用于建模污染物浓度与健康效应之间的非线性关系，同时控制气象因素（如温度、湿度）的混杂效应。分布式滞后非线性模型（DLNM）结合了半参数思想和滞后结构，在环境流行病学中广泛使用。

机器学习中，半参数思想被融入加性模型（GAM）、多指标模型以及深度学习中，提升了模型的可解释性。深度神经网络中的半参数层结构允许模型自主选择线性与非线性成分，在提高预测精度的同时保持了部分可解释性。

软件实现

R 语言中的 \texttt{mgcv} 包提供了广义加性模型（GAM）的拟合功能，支持光滑样条和张量积光滑项；\texttt{survival} 包支持 Cox 比例风险模型及其分层扩展；\texttt{np} 包包含多种非参数与半参数估计方法；\texttt{plm} 和 \texttt{Semipar} 包提供了部分线性模型的估计工具。Python 中，\texttt{statsmodels} 库提供了部分线性模型和 GAM 的实现，\texttt{lifelines} 包用于生存分析。此外，\texttt{scikit-learn} 中的 \texttt{SplineTransformer} 结合线性模型可实现简单的半参数拟合。

发展趋势

当前半参数统计的研究前沿包括：高维半参数模型的正则化估计（如 SCAD、MCP 惩罚方法在部分线性模型中的应用）、半参数因果推断方法（如半参数工具变量方法和半参数双重稳健估计）、时变系数模型、半参数贝叶斯方法以及深度半参数模型等。随着数据复杂性不断提高，半参数方法在兼顾可解释性与灵活性方面的独特优势将日益凸显。在因果推断领域，半参数方法已成为估计平均处理效应（ATE）和条件平均处理效应（CATE）的标准工具。未来，半参数统计与机器学习的深度融合将催生更多高效、稳健且可解释的新型统计方法。