对数矩生成函数 (Cumulant Generating Function)
对数矩生成函数(Logarithmic Moment Generating Function,简称 LMGF),又称累积量生成函数(Cumulant Generating Function,简称 CGF),是概率论与数理统计中对矩生成函数(MGF)取自然对数后得到的函数。它将随机变量的分布信息从"矩"的序列转化为"累积量"(cumulants)的序列,后者在许多统计推断问题中具有更优越的代数与分析性质。
定义
设随机变量 X 的矩生成函数为 MX(t)=E[etX],且存在某个包含原点的开区间 (−h,h) 使得 MX(t)<∞。则 X 的对数矩生成函数定义为:
KX(t)=logMX(t)=logE[etX],∣t∣<h
对于多元随机向量 X=(X1,…,Xd)T,其联合对数矩生成函数为:
KX(t)=logE[exp(i=1∑dtiXi)],t∈Rd
当期望存在时,KX(t) 在 t=0 附近是解析的,并且 KX(0)=log1=0。
累积量 (Cumulants)
对数矩生成函数的核心价值在于其泰勒展开系数——累积量。将 KX(t) 在 t=0 处展开为幂级数:
KX(t)=n=1∑∞κnn!tn
其中系数 κn 称为 X 的第 n 阶累积量(或半不变量,semi-invariant)。前四阶累积量与中心矩的关系如下:
- κ1=E[X] —— 均值(一阶累积量等于期望)
- κ2=Var(X)=E[(X−μ)2] —— 方差(二阶累积量等于方差)
- κ3=E[(X−μ)3] —— 三阶中心矩(偏度的分子)
- κ4=E[(X−μ)4]−3[Var(X)]2 —— 四阶累积量(峰度的超额部分)
更一般地,累积量与矩之间通过组合公式相互转换。记 μn′=E[Xn] 为 n 阶原点矩,有:
κn=n!{k1,…,kn}∑(−1)r−1(r−1)!i=1∏nki!1(i!μi′)ki
其中求和遍历所有满足 ∑i=1niki=n 的非负整数解,且 r=∑ki。
核心性质
独立可加性 (Additivity)
对数矩生成函数最重要的性质是:若 X 和 Y 相互独立,则:
KX+Y(t)=logE[et(X+Y)]=log(E[etX]E[etY])=KX(t)+KY(t)
由此直接推出累积量的可加性:κn(X+Y)=κn(X)+κn(Y)。这一性质是矩(除一阶外)所不具备的,也是累积量在涉及独立随机变量之和的统计推断(如中心极限定理的精细化)中占据核心地位的根本原因。
线性变换
对常数 a,b∈R:
KaX+b(t)=tb+KX(at)
由此可推导累积量在仿射变换下的行为:κ1(aX+b)=aκ1(X)+b,而对于 n≥2,κn(aX+b)=anκn(X)。
与特征函数的关系
记特征函数为 ϕX(t)=E[eitX]。对数矩生成函数本质上可视为特征函数的对数在实数轴上取值的推广:logϕX(−it)=KX(t)。因此,当矩生成函数存在时,对数矩生成函数与特征函数的对数(有时称为第二特征函数)包含等价的信息。
凸性
KX(t) 在其定义域上是凸函数。这是因为其二阶导数:
KX′′(t)=[MX(t)]2MX′′(t)MX(t)−[MX′(t)]2=VarPt(X)≥0
其中 VarPt 表示对经过指数倾斜(exponential tilting)的概率测度 dPt=etXdP/MX(t) 下 X 的方差。凸性为大偏差理论中速率函数的Legendre-Fenchel变换表示提供了基础。
常见分布的对数矩生成函数
- 正态分布 N(μ,σ2): \[ K(t) = \mu t + \frac{1}{2}\sigma^2 t^2 \] 所有三阶及以上累积量均为零(κn=0,n≥3),这刻画了正态分布的特征:它是唯一具有有限个非零累积量的分布。
- 泊松分布 Poisson(λ): \[ K(t) = \lambda(e^t - 1) \] 所有累积量均等于 λ(κn=λ,∀n)。
- 指数分布 Exp(λ): \[ K(t) = -\log(1 - t/\lambda), \quad t < \lambda \] 累积量通项为 κn=(n−1)!/λn。
- 伯努利分布 Bernoulli(p): \[ K(t) = \log(1 - p + pe^t) \]
- 伽马分布 Γ(α,β): \[ K(t) = -\alpha \log(1 - t/\beta), \quad t < \beta \] 累积量通项为 κn=α(n−1)!/βn。
在统计推断中的应用
埃奇沃斯展开 (Edgeworth Expansion)
对数矩生成函数是推导埃奇沃斯展开的核心工具。对于独立同分布随机变量之和的标准化形式 Sn=(∑Xi−nμ)/(σn),其分布函数可通过累积量进行渐近展开:
FSn(x)≈Φ(x)−ϕ(x)[6nγ1H2(x)+24nγ2H3(x)+72nγ12H5(x)]
其中 γ1=κ3/κ23/2 为偏度,γ2=κ4/κ22 为超额峰度,Hk 为 Hermite 多项式。该展开比单纯的正态近似提供了更高阶的精度。
鞍点近似 (Saddlepoint Approximation)
在大偏差和中等偏差概率的近似中,鞍点方法利用对数矩生成函数的Fenchel共轭——速率函数 I(x)=supt{tx−K(t)}——在鞍点 t^(满足 K′(t^)=x)处对密度或尾部概率进行指数级精确的逼近:
fXˉn(x)≈2πK′′(t^)nexp(−n[t^x−K(t^)])
该近似在自助法、生存分析和金融风险度量中有广泛应用。
大偏差理论 (Large Deviations Theory)
Cramér定理表明,对于独立同分布序列的样本均值,其大偏差概率的对数渐近行为完全由对数矩生成函数决定:
n→∞lim−n1logP(Xˉn≥x)=I(x)=t∈Rsup{tx−K(t)},x>E[X]
速率函数 I(x) 作为对数矩生成函数的 Legendre-Fenchel 变换,是大偏差理论的核心对象,连接了概率论、统计力学和信息论。
与统计学其他概念的关联
对数矩生成函数与指数族分布存在深刻的结构性联系。自然指数族的对数配分函数正是对数矩生成函数在特定参数化下的体现。若一个分布族的密度可写为 f(x∣θ)=h(x)exp(θT(x)−A(θ)),则对数配分函数 A(θ)=log∫h(x)eθT(x)dx 就是充分统计量 T(X) 的对数矩生成函数(在 h 为概率密度时)。由此,A′(θ)=Eθ[T(X)],A′′(θ)=Varθ(T(X)),建立了指数族中矩与累积量之间的系统对应。