得分函数

得分函数 (Score Function)

得分函数→数理统计核概念→极大似然估计（MLE）与渐近理论基石。给定概率密度$f(x;\theta)$→对数似然$\ell(\theta;x)=\log f(x;\theta)$。得分函数$V(x;\theta)$定义为对数似然关于参数$\theta$的一阶偏导：

其中$f'$表示$f$对$\theta$的偏导数。直观上→得分函数衡量对数似然在参数空间中的梯度→指示参数微小变动如何改变观测数据与当前参数的兼容程度。

基本性质

在正则条件（积分与求导可交换）下，得分函数具三个核心性质：

1. 零期望： $E[V(X;\theta)]=\int V(x;\theta)f(x;\theta)dx=\int f'(x;\theta)dx=\frac{\partial}{\partial\theta}\int f=0$→即得分函数在真实参数处期望为零→这是后续所有推断的基础。

2. 方差等于Fisher信息： $\text{Var}[V]=E[V^2]=I(\theta)$→Fisher信息定义即得分函数二阶矩。等价公式→$I(\theta)=-E[\partial^2\ell/\partial\theta^2]$→对数似然期望曲率。

3. 可加性： 对独立同分布样本$X_1,\ldots,X_n$→联合得分$V_n(\theta)=\sum_{i=1}^n V_i(\theta)$→各观测得分贡献独立累加→$\text{Var}[V_n]=nI(\theta)$。

MLE与渐近理论

MLE$\hat{\theta}$是得分方程$V_n(\hat{\theta})=0$的解。由泰勒展开：

→整理得$\sqrt{n}(\hat{\theta}-\theta_0)\approx-(\frac{1}{n}V'_n)^{-1}\frac{1}{\sqrt{n}}V_n$。由WLLN→$-\frac{1}{n}V'_n\xrightarrow{p}I(\theta_0)$；由CLT→$\frac{1}{\sqrt{n}}V_n\xrightarrow{d}N(0,I(\theta_0))$。斯卢茨基定理合→

→MLE的渐近精度完全由得分函数方差（即Fisher信息）决定。

得分检验（Rao Score Test）

Rao得分检验（也称拉格朗日乘数检验）→仅需在原假设$H_0:\theta=\theta_0$下计算得分：

vsWald检验需MLE→vs似然比检验需双估计→得分检验计算成本最低→常用于模型设定检验与异方差检验。

向量参数推广

多参数$\boldsymbol{\theta}\in\mathbb{R}^k$→得分向量$\mathbf{V}=\nabla_\theta\ell$→分量$V_j=\partial\ell/\partial\theta_j$。期望仍为零→协方差矩阵=Fisher信息矩阵：

Cramér-Rao下界→$\text{Cov}(\hat{\boldsymbol{\theta}})\succeq\mathcal{I}^{-1}$→得分函数方差之逆界定多参数联合估计精度极限。

应用延伸：GMM→$E[\mathbf{m}(\theta)]=0$即广义得分条件；拟似然→误设分布仍用得分方程得一致估计；得分匹配→生成模型中用得分函数梯度指导采样。核→得分函数桥接似然、矩方法与渐近理论→现代统计与计量推断不可或缺的概念枢纽。