过度离散

过度离散 (Overdispersion)

过度离散 (Overdispersion) 是计数数据分析中的一个核心概念，指观测数据的方差系统性地大于名义模型所假设的方差。这一现象最常见于泊松分布框架下：泊松分布具有等离散性 (Equidispersion) 性质，即均值与方差相等 ($E[Y] = \text{Var}(Y) = \lambda$)。当实际数据中 $\text{Var}(Y) > E[Y]$ 时，即存在过度离散。

过度离散并非单纯的统计烦扰，而是数据生成过程中结构性特征的信号。忽视过度离散会导致标准误被低估、t统计量虚高、p值偏小，进而使研究者错误地把不显著的效应判定为显著，严重扭曲统计推断。

产生原因

过度离散的产生有深层的数据生成机制原因：

1. 不可观测的异质性 (Unobserved Heterogeneity)

这是最根本的成因。在泊松回归中，我们假设具有相同协变量 $X_i$ 的所有个体共享同一个泊松速率参数 $\lambda_i = \exp(X_i\beta)$。然而现实中，即使控制了可观测特征，个体之间仍存在无法测量的差异。例如在研究医生就诊次数时，即使控制了年龄、收入和健康状况，个体对医疗服务的偏好、疼痛耐受度等不可观测因素仍会导致某些人系统性就诊更多而另一些更少——这种个体间的异质性使得数据方差超过泊松模型所允许的水平。

形式上，假设真实速率 $\lambda_i^* = \lambda_i \cdot \nu_i$，其中 $\nu_i$ 表示不可观测的个体异质性（均值为 1，方差为 $\sigma_\nu^2$）。通过全方差公式可推导出：

当 $\sigma_\nu^2 > 0$ 时，方差严格大于均值，过度离散由此产生。

2. 事件聚集性 (Event Clustering)

许多计数过程基于事件独立发生的假设，但现实中事件常常成群出现。例如保险索赔数据中，一次交通事故可能同时触发行人伤害和车辆损坏的多项索赔；专利数据中，一项突破性研究可能在短期内催生一系列相关专利。这种正相关性放大了计数的波动，导致方差膨胀。聚集性在传染病计数数据中尤为突出——一个感染者在封闭环境中可引发数十例继发病例，使得病例数的波动远大于独立同分布假设所预测的水平。

3. 零膨胀 (Zero-Inflation)

数据中零观测值的比例远高于泊松分布所能预测的比例时，也会表现为过度离散。典型例子包括：烟酒消费量（大量人群完全不消费）、医疗救治次数（许多人从未住院）。零膨胀通常需要专门的零膨胀泊松模型 (ZIP) 或零膨胀负二项模型 (ZINB) 来处理。区分"真正的零膨胀"与"因异质性产生的过量零值"需要结合领域知识进行模型选择。

诊断与检验

描述性判断

最直观的方法是计算样本均值 $\bar{y}$ 和样本方差 $s^2$，若 $s^2/\bar{y}$ 远大于 1，则提示存在过度离散。经验法则认为，当该比值超过 1.5 时，应进一步进行正式检验。

Cameron-Trivedi 检验

Cameron-Trivedi检验是诊断过度离散的标准方法之一。其基本思路是：若泊松模型正确，则 $(Y_i - \hat{\lambda}_i)^2 - Y_i$ 对 $\hat{\lambda}_i$（或 $\hat{\lambda}_i^2$）的回归系数应不显著异于零。具体步骤：

1. 估计泊松回归，获得拟合值 $\hat{\lambda}_i$。
2. 构造辅助回归：$(Y_i - \hat{\lambda}_i)^2 - Y_i = \alpha \cdot g(\hat{\lambda}_i) + \varepsilon_i$，其中 $g(\cdot)$ 通常取 $\hat{\lambda}_i$ 或 $\hat{\lambda}_i^2$。
3. 对 $\alpha = 0$ 进行 t检验。若显著为正，则拒绝等离散原假设，判定存在过度离散。

基于 Pearson 残差的离散度检验

定义 Pearson 残差 $r_i = (Y_i - \hat{\lambda}_i) / \sqrt{\hat{\lambda}_i}$，计算离散度统计量 $\hat{\phi} = \frac{1}{n-k}\sum_{i=1}^n r_i^2$。在原假设（泊松模型正确设定）下，$\hat{\phi}$ 应接近 1。若 $\hat{\phi}$ 远大于 1（通常以 1.5 或 2 为经验阈值），表明过度离散严重。该检验的优点是计算简便，不依赖辅助回归；缺点是对样本量的敏感性较高，小样本中可能出现偏差。

处理方法

1. 负二项回归 (Negative Binomial Regression)

负二项回归是处理过度离散最常用且最灵活的方法。它与泊松回归的期望函数相同 ($E[Y_i] = \lambda_i = \exp(X_i\beta)$)，但方差函数扩展为：

其中 $\alpha \geq 0$ 为离散参数 (dispersion parameter)。负二项模型可视为伽马-泊松混合：对泊松速率引入服从伽马分布的个体异质性后，计数值的边缘分布即为负二项分布。当 $\alpha \to 0$ 时，负二项回归退化为泊松回归，因此对 $H_0: \alpha = 0$ 的似然比检验可直接判断是否需要负二项模型。最常用的参数化是 NB2 形式（方差为 $\lambda + \alpha\lambda^2$），另有 NB1 形式（方差为 $\lambda(1+\alpha)$）。在实际应用中，推荐同时报告两种参数化的结果作为稳健性检查。

2. 拟泊松模型 (Quasi-Poisson Model)

拟泊松模型不指定完整的似然函数，仅假设方差与均值成比例：$\text{Var}(Y_i) = \phi \cdot \lambda_i$，其中 $\phi$ 为离散参数。使用拟最大似然估计 (QMLE) 估计 $\beta$ 后，将标准误乘以 $\sqrt{\hat{\phi}}$ 进行校正。拟泊松的优点是计算简单且不依赖具体的混合分布假设；缺点是当过度离散的形式为 $\text{Var}(Y_i) = \lambda_i + \alpha\lambda_i^2$（方差随均值平方增长）时校正效果不如负二项回归。在 $\lambda_i$ 取值较大的情景中，这一差异尤为明显。

3. 稳健标准误

最简单的补救措施是使用异方差稳健标准误（Huber-White sandwich estimator）。它不改变泊松回归的点估计，但修正了标准误，使假设检验在存在过度离散时仍然有效。然而这只是一种"事后补救"，并未利用过度离散中蕴含的数据结构信息，估计效率低于负二项回归。在探索性分析中，稳健标准误可作为一种快速的初步检查手段。

不足离散

与过度离散相对的是不足离散 (Underdispersion)，即 $\text{Var}(Y) < E[Y]$。在经济学中较为罕见，但在某些经过筛选或压缩的数据中可能出现。不足离散可用广义泊松分布 (Generalized Poisson) 或Conway-Maxwell-Poisson分布 (COM-Poisson) 处理。COM-Poisson 分布通过引入一个额外的形态参数 $\nu$ 同时涵盖过度离散 ($\nu<1$) 和不足离散 ($\nu>1$)，具有高度的灵活性，但其参数估计的计算复杂度较高。

应用场景与实务建议

过度离散在应用经济学中无处不在：卫生经济学中的就诊次数和住院天数；劳动经济学中的失业持续期和跳槽次数；创新经济学中的专利申请数和论文发表量；犯罪经济学中的犯罪事件计数；保险精算中的索赔频率。在这些领域，直接使用泊松回归而忽视过度离散，几乎必然导致有偏的推断。Angrist 和 Pischke 在《Mostly Harmless Econometrics》中建议研究者默认报告稳健标准误，并在计数数据中优先考虑负二项模型作为稳健性检验。在实务中，建议的分析流程为：(1) 估计泊松基线模型，计算离散度统计量；(2) 若 $\hat{\phi}>1.5$，进行 Cameron-Trivedi 检验；(3) 若确认存在过度离散，拟合负二项回归，并与拟泊松模型的估计结果进行比较；(4) 若零值比例异常高，考虑 ZIP 或 ZINB 模型。这一系统性的建模策略可以最大限度地减少因忽视过度离散而产生的推断偏误。