exponential family

指数族分布 (Exponential Family)

指数族是统计学中覆盖最广的参数分布族→正态分布/伯努利分布/泊松分布/Gamma分布/Beta分布/多项分布/Dirichlet分布/负二项分布等数十种常用分布皆其特例。核心价值：用统一数学形式处理所有成员→MLE/GLM/变分推断/贝叶斯更新均可纳入同一代数框架→充分统计量维数固定+累积量生成函数闭式+共轭先验系统构造→理论与应用中枢。

标准形式与三种参数化

自然参数形式（canonical form）：

四大组件：①自然参数$\eta\in\mathbb{R}^d$→指数族内积权重；②充分统计量$T(x)$→数据通过$T(\cdot)$压缩为d维→Neyman-Fisher分解保证信息不损失→维数不随样本量$n$增长→此乃指数族定义性特征；③对数配分函数$A(\eta)=\log\int h(x)e^{\eta^\mathsf{T}T(x)}dx$→归一化保证积分为1→严格凸→其二阶导为Fisher信息；④底测度$h(x)\ge0$→与参数无关→仅依赖数据空间结构。

均值参数化：自然参数空间$\mathcal{H}=\{\eta:A(\eta)<\infty\}$为凸集→梯度映射$\mu(\eta)=\nabla A(\eta)=E_\eta[T(X)]$将自然参数双射至均值参数$\mu$→落在充分统计量期望值的可行集$\mathcal{M}$内→对偶关系：$\eta=\nabla A^*(\mu)$，其中$A^*(\mu)=\sup_\eta(\eta^\mathsf{T}\mu-A(\eta))$为$A$的凸共轭（Legendre-Fenchel变换）。均值参数化在矩匹配和变分推断中尤便。

经典参数化：引入原参数$\theta$（如伯努利成功概率$p$、泊松强度$\lambda$）→令$\eta=\eta(\theta)$→$p(x|\theta)=h(x)\exp(\eta(\theta)^\mathsf{T}T(x)-A(\eta(\theta)))$→称标准指数族。若$\eta(\theta)=\theta$（恒等映射）则已是自然形式→否则称曲指数族（curved exponential family）→参数空间维度<自然参数维度→非线性约束→渐近理论更复杂。

成员速查：

• 伯努利：$\eta=\log\frac{p}{1-p}$（logit），$T(x)=x\in\{0,1\}$，$A(\eta)=\log(1+e^\eta)$，$h(x)=1$→Logistic回归基础。
• 正态（方差已知$\sigma^2$）：$\eta=\mu/\sigma^2$，$T(x)=x$，$A(\eta)=\sigma^2\eta^2/2$，$h(x)=\frac{1}{\sqrt{2\pi\sigma^2}}e^{-x^2/(2\sigma^2)}$。
• 正态（均值方差均未知）：$\eta=[\mu/\sigma^2,\;-1/(2\sigma^2)]^\mathsf{T}$，$T(x)=[x,\;x^2]^\mathsf{T}$→二维自然参数→二维充分统计量。
• 泊松：$\eta=\log\lambda$，$T(x)=x$，$A(\eta)=e^\eta$，$h(x)=1/x!$。
• Gamma：$\eta=[\alpha-1,\;-\beta]^\mathsf{T}$或自然参数化为形状-速率，$T(x)=[\log x,\;x]^\mathsf{T}$，$A(\eta)=\log\Gamma(\alpha)-\alpha\log\beta$。
• Beta：$\eta=[\alpha,\;\beta]^\mathsf{T}$，$T(x)=[\log x,\;\log(1-x)]^\mathsf{T}$，$A(\eta)=\log B(\alpha,\beta)$。
• Dirichlet：多项Beta推广→$K$类概率单纯形→充分统计量$[\log x_1,\ldots,\log x_K]$。
• 负二项（失败次数固定）：$\eta=\log(1-p)$，$T(x)=x$。

核心理论性质

矩生成与累积量：$A(\eta)$为累积量生成函数（CGF）→一阶导$\nabla A(\eta)=E_\eta[T(X)]$（均值映射），二阶导$\nabla^2 A(\eta)=\operatorname{Cov}_\eta(T(X))$→更高阶导给出高阶累积量→$A$严格凸（除非$T(X)$几乎处处常数）→Fisher信息矩阵$I(\eta)=\nabla^2 A(\eta)$必然正定→对数似然$\ell(\eta)$为严格凹函数→MLE唯一全局最优。

MLE极简性：i.i.d.样本$\{x_i\}_{i=1}^n$下→对数似然$\ell(\eta)=\eta^\mathsf{T}\sum_i T(x_i)-nA(\eta)+\sum_i\log h(x_i)$→梯度方程$\nabla\ell=\sum_i T(x_i)-n\nabla A(\eta)=0$→MLE满足$\nabla A(\hat{\eta})=\frac{1}{n}\sum_i T(x_i)$→即矩匹配：充分统计量的模型期望=样本均值。MLE仅依赖$\frac{1}{n}\sum_i T(x_i)$→与分布具体形式无关→对所有指数族成员统一适用。若自然参数空间$\mathcal{H}$为开集且$\frac{1}{n}\sum_i T(x_i)\in\mathcal{M}^\circ$（均值参数空间内部）→MLE存在唯一→Newton-Raphson或Fisher Scoring快速收敛。

共轭先验系统论：指数族自然共轭先验形式为$p(\eta\mid\tau,\nu)\propto\exp(\tau^\mathsf{T}\eta-\nu A(\eta))$→超参数$(\tau,\nu)$：$\tau$为"伪充分统计量"、$\nu$为"伪样本量"。后验：$p(\eta\mid x_{1:n})\propto\exp((\tau+\sum T(x_i))^\mathsf{T}\eta-(\nu+n)A(\eta))$→超参数直接相加→贝叶斯更新仅需$O(d)$的代数运算。经典配对：Beta-Bernoulli（$\tau$=伪成功数）、Normal-Normal（均值推断）、Gamma-Poisson（强度推断）、Dirichlet-Multinomial（概率向量推断）、Normal-InverseGamma（联合均值-方差推断）。

最大熵原理：在所有满足矩约束$E[T(X)]=\mu$的分布中→指数族是唯一最大化Shannon熵$H(p)=-\int p(x)\log p(x)dx$的分布→证明：拉格朗日乘子法→$\eta$为矩约束的对偶变量→$A(\eta)$为配分函数的对数→指数族是"给定矩信息下最少额外假设"的分布→信息论哲学基础：Jaynes最大熵原理。

KL散度与投影：任意概率密度$q(\cdot)$到指数族$p_\eta$的KL散度：$\mathrm{KL}(q\|p_\eta)=\int q\log(q/p_\eta)=-H(q)-\eta^\mathsf{T}E_q[T(X)]+A(\eta)$→固定$q$对$\eta$求极小→一阶条件$\nabla A(\eta)=E_q[T(X)]$→最优$\eta^*$使模型矩匹配$q$的矩→即矩投影（moment projection/M-projection）。另一方向$\mathrm{KL}(p_\eta\|q)$→信息投影（I-projection）。该几何结构是变分推断与期望传播(EP)的核心。

充分性与完备性：$T(X)$不仅充分（Neyman-Fisher因子分解→似然仅通过$T(x)$依赖数据）且在温和条件下完备→Lehmann-Scheffé定理→$T(X)$的无偏估计函数唯一→UMVUE可由$T(X)$构造→参数推断最优性保证。

广义线性模型 (GLM)

GLM将指数族推向回归分析核心→三要素：①响应$Y|X$服从分散指数族（dispersion exponential family）：$p(y|\eta,\phi)=\exp\left(\frac{y\eta-b(\eta)}{a(\phi)}+c(y,\phi)\right)$→其中$\phi$为散度参数（如正态$\sigma^2$、泊松$\phi=1$、Gamma形状）→$a(\phi)$通常取$\phi/w$（$w$已知权重）；②系统成分$\eta=\beta^\mathsf{T}X$线性预测；③链接函数$g(\cdot)$连接均值与线性预测：$g(\mu)=\eta$。

正则链接（canonical link）：取$g=b'^{-1}$→使$\eta=\beta^\mathsf{T}X$直接为自然参数→充分统计量$\sum_i X_i Y_i$→对数似然简洁→Fisher Scoring与Newton-Raphson等价→理论优雅。经典GLM速查：

• 线性回归：正态+恒等链接$g(\mu)=\mu$→$\hat{\beta}=(X^\mathsf{T}X)^{-1}X^\mathsf{T}Y$闭式。
• Logistic回归：伯努利+logit链接$g(\mu)=\log\frac{\mu}{1-\mu}$→二分类基准。
• Poisson回归：泊松+log链接$g(\mu)=\log\mu$→计数数据→过度分散时扩展为负二项回归。
• Gamma回归：Gamma+倒数链接$g(\mu)=1/\mu$→正连续响应（保险赔付、生存时间）。
• 多项Logit：多项分布+广义logit→多分类基准。

估计与推断：IRLS（迭代重加权最小二乘）统一求解→每步解加权最小二乘$\hat{\beta}^{(t+1)}=(X^\mathsf{T}W^{(t)}X)^{-1}X^\mathsf{T}W^{(t)}z^{(t)}$→权重$W=\operatorname{diag}((g'(\mu_i))^{-2}\operatorname{Var}(Y_i)^{-1})$→调整响应$z_i=\eta_i+(y_i-\mu_i)g'(\mu_i)$→收敛迅速。准似然（quasi-likelihood）：仅需均值-方差关系$\operatorname{Var}(Y)=a(\phi)V(\mu)$→无需完整分布→拟GLM→GEE（广义估计方程）处理纵向数据相关结构。

信息几何视角

指数族定义统计流形（statistical manifold）→两点坐标系统：自然参数$\eta$为e-仿射坐标（指数连接）、均值参数$\mu$为m-仿射坐标（混合连接）→Fisher信息矩阵$I(\eta)$为该流形的黎曼度量。Amari $\alpha$-连接统一二者：$\alpha=1$为e-连接、$\alpha=-1$为m-连接→两者关于Fisher度量互为对偶。应用：EM算法的E步为m-投影到观测数据流形→M步为e-投影到模型流形→收敛性由Pythagorean定理（广义）保证。自然梯度：$\tilde{\nabla}f=I(\eta)^{-1}\nabla f$→参数空间黎曼梯度→在变分推断和深度学习中加速收敛。

变分推断与贝叶斯计算

平均场变分推断(MFVI)：假设后验近似$q(\theta)=\prod_j q_j(\theta_j)$→各因子取指数族形式→坐标上升更新：$\log q_j^*(\theta_j)=E_{-j}[\log p(x,\theta)]+\text{const}$→若模型条件共轭（完整条件属于同指数族）→更新为闭式超参数加减→CAVI（坐标上升VI）高效。随机变分推断(SVI)：用随机梯度处理大规模数据→自然梯度+指数族→更新规则极简→变分自编码器(VAE)重参数化技巧即此框架。期望传播(EP)：用指数族近似因子→I-投影逐因子匹配矩→幂EP插值于VI与EP之间。

局限与扩展

非指数族分布：均匀分布（支撑依赖参数）、Student-t（自由度参数非自然参数形式）、混合模型（隐变量使完整数据属指数族但观测数据不属）→EM算法桥接两者。截断分布/删失数据：支撑集与参数相关→指数族条件破坏。厚尾/多峰/异方差场景→非参数方法/半参数方法补充。

现代扩展：指数族PCA（将PCA推广至非高斯数据→伯努利PCA、泊松PCA）；指数族图模型（Ising模型为伯努利+成对交互→高斯图模型为正态+精度矩阵稀疏→LASSO加$\ell_1$罚估计稀疏图结构）；指数族矩阵分解（推荐系统中的泊松矩阵分解）；神经指数族（用神经网络参数化$\eta(x)$→深度充分统计量→连接深度学习与经典推断）。