知经 KNOWECON
登录 注册

知经百科 / R

冗余参数

冗余参数

冗余参数（nuisance parameter）又称讨厌参数，是指在统计推断中存在于模型之中、但并非直接感兴趣、却必须加以处理才能对关注参数进行有效推断的模型参数。这一概念贯穿于假设检验、区间估计、点估计和模型选择等多个领域。

定义与基本概念

设统计模型参数为 θ=(ψ,λ) \theta = (\psi, \lambda) ，其中 ψ \psi 是关注参数（parameter of interest），λ \lambda 是冗余参数（nuisance parameter）。似然函数 L(ψ,λ∣X) L(\psi, \lambda \mid X) 同时依赖于二者，因此必须对 λ \lambda 采取策略才能获得关于 ψ \psi 的有效推断。

经典例子：正态分布 N(μ,σ2) N(\mu, \sigma^2) 中若关注参数是均值 μ \mu ，则方差 σ2 \sigma^2 即为冗余参数。线性回归 Y=Xβ+ε Y = X\beta + \varepsilon 中，若关注参数是 β \beta ，则误差方差 σ2 \sigma^2 是冗余参数。

处理冗余参数的主要方法

轮廓似然法

对于每个 ψ \psi ，在 λ \lambda 上最大化似然函数，得到轮廓似然函数：

Lp(ψ∣X)=max⁡λL(ψ,λ∣X)=L(ψ,λ^ψ∣X),L_p(\psi \mid X) = \max_{\lambda} L(\psi, \lambda \mid X) = L(\psi, \hat{\lambda}_\psi \mid X),

其中 λ^ψ \hat{\lambda}_\psi 是给定 ψ \psi 下 λ \lambda 的最大似然估计。然后基于 Lp(ψ∣X) L_p(\psi \mid X) 对 ψ \psi 推断。轮廓似然的渐近性质与普通似然类似，但小样本下可能存在偏差。

条件似然法

寻找关于 λ \lambda 的充分统计量 T T ，使得给定 T T 的条件下样本的条件分布不再依赖于 λ \lambda ，从而基于条件似然 Lc(ψ∣X,T) L_c(\psi \mid X, T) 推断 ψ \psi 。在指数族分布中特别有效。例如，2×2 2 \times 2 列联表中分析优势比时，Fisher精确检验通过固定边际和来消除冗余参数。

边际似然法

在贝叶斯框架下对冗余参数积分：

Lm(ψ∣X)=∫L(ψ,λ∣X) π(λ∣ψ) dλ,L_m(\psi \mid X) = \int L(\psi, \lambda \mid X) \, \pi(\lambda \mid \psi) \, d\lambda,

其中 π(λ∣ψ) \pi(\lambda \mid \psi) 是 λ \lambda 在 ψ \psi 下的先验分布。

得分检验

拉格朗日乘数检验仅需在原假设下估计模型，即在 ψ=ψ0 \psi = \psi_0 约束下估计 λ \lambda ，避免了对无约束模型的估计。

冗余参数与推断精度

冗余参数的存在会增加关注参数估计的不确定性。以 N(μ,σ2) N(\mu, \sigma^2) 为例：σ2 \sigma^2 已知时 μ^ \hat{\mu} 方差为 σ2/n \sigma^2/n ；未知时使用 t t 分布，置信区间更宽，反映了估计 σ2 \sigma^2 的代价。

从信息论角度，Fisher信息矩阵为：

I(ψ,λ)=(IψψIψλIλψIλλ).I(\psi, \lambda) = \begin{pmatrix} I_{\psi\psi} & I_{\psi\lambda} \\ I_{\lambda\psi} & I_{\lambda\lambda} \end{pmatrix}.

λ \lambda 已知时 ψ \psi 的 Fisher 信息量为 Iψψ I_{\psi\psi} ；λ \lambda 未知时有效 Fisher 信息量为 Iψψ−IψλIλλ−1Iλψ I_{\psi\psi} - I_{\psi\lambda} I_{\lambda\lambda}^{-1} I_{\lambda\psi} ，后者总是不大于前者。

面板数据中的冗余参数问题

在面板数据中，个体固定效应 αi \alpha_i 是典型冗余参数。当 T T 固定而 N→∞ N \to \infty 时，冗余参数数量随样本量增长，导致偶然参数问题（incidental parameters problem）。固定效应 Logit 模型可通过条件似然消除 αi \alpha_i ；线性面板模型则使用组内变换。

与半参数方法的关系

在半参数模型中，冗余参数可能是无穷维的 nuisance function。例如部分线性模型 Y=Xβ+g(Z)+ε Y = X\beta + g(Z) + \varepsilon 中，β \beta 是有限维关注参数，非参数函数 g(⋅) g(\cdot) 是冗余的。需使用非参数方法消除冗余成分，以得到 β \beta 的 n \sqrt{n} 一致估计量。

参见

参考文献

  1. Cox, D. R. \& Reid, N. (1987). Parameter orthogonality and approximate conditional inference. JRSS-B, 49(1), 1–39.
  2. Lehmann, E. L. \& Romano, J. P. (2005). Testing Statistical Hypotheses (3rd ed.). Springer.
  3. Neyman, J. \& Scott, E. L. (1948). Consistent estimates based on partially consistent observations. Econometrica, 16(1), 1–32.
  4. Severini, T. A. (2000). Likelihood Methods in Statistics. Oxford University Press.

返回百科索引