退化分布

退化分布 (Degenerate Distribution)

退化分布（Degenerate Distribution），亦称单点分布或确定性分布，是概率论中最简单的概率分布：随机变量以概率 1 取某个常数 $c$。尽管形式平凡，退化分布在理论推导中扮演着关键角色——作为其他分布族的极限、作为经验概率分布的原子组分、以及作为估计量一致性的理论终态。

形式定义

设 $X \sim \operatorname{Degenerate}(c)$，$c \in \mathbb{R}$。其概率质量函数为 $P(X = c) = 1$，$P(X \neq c) = 0$。等价地，以狄拉克测度 $\delta_c$ 表示：对任意 Borel 集 $A$，$P(X \in A) = \delta_c(A) = 1$ 当 $c \in A$，否则为 0。

分布函数与数字特征

累积分布函数为单位阶跃函数：

数字特征极为简洁，且退化分布是唯一方差为零的分布：

• 期望：$\mathbb{E}[X] = c$；方差：$\operatorname{Var}(X) = 0$。
• 矩母函数：$M_X(t) = e^{tc}$；特征函数：$\varphi_X(t) = e^{itc}$。
• 任意阶矩：$\mathbb{E}[X^k] = c^k$，$k = 1, 2, \ldots$

方差为零是退化分布的充要条件：任何几乎必然为常数的随机变量均服从退化分布。

作为极限分布

退化分布的核心理论价值在于它是众多分布族的极限。当参数趋于边界时：

• 伯努利分布 $\operatorname{Bernoulli}(p)$：$p \to 0$ 时收敛至 $\operatorname{Degenerate}(0)$；$p \to 1$ 时收敛至 $\operatorname{Degenerate}(1)$。
• 正态分布 $\mathcal{N}(\mu, \sigma^2)$：$\sigma^2 \to 0$ 时依分布收敛至 $\operatorname{Degenerate}(\mu)$。
• 二项分布与泊松分布分别在 $p \to 0$、$\lambda \to 0$ 时收敛至 $\operatorname{Degenerate}(0)$。

更一般地，弱大数定律断言样本均值 $\bar{X}_n \xrightarrow{d} \operatorname{Degenerate}(\mu)$——依概率收敛蕴含依分布收敛到退化分布。

在统计与计量经济学中的角色

估计量一致性：一致估计量 $\hat{\theta}_n \xrightarrow{p} \theta_0$ 的渐近分布正是退化于真值。这为构造非退化渐近分布（通过 $\sqrt{n}(\hat{\theta}_n - \theta_0)$ 缩放）提供出发点。后验概率分布在大样本下依概率收敛到参数真值处的退化分布（Bernstein–von Mises 定理）。

经验测度：经验概率分布 $P_n = \frac{1}{n} \sum_{i=1}^{n} \delta_{X_i}$ 正是退化分布原子的等权混合，为自助法和即插即用原理奠基。

影响函数：M-估计量的稳健性分析通过在分布 $F$ 处施加污染 $F_\varepsilon = (1 - \varepsilon)F + \varepsilon \delta_x$ 来量化单个观测的边际效应。

与狄拉克δ函数

退化分布可借由狄拉克δ函数 $\delta(x - c)$ 表出其"概率密度"。δ函数作为广义函数满足 $\int_{-\infty}^{\infty} \delta(x - c) dx = 1$ 及 $\int f(x) \delta(x - c) dx = f(c)$，使退化分布在连续积分框架下统一处理。