概率质量

概率质量 (Probability Mass)

概率质量（Probability Mass）是概率论中用于描述离散随机变量在各可能取值上分布的基本概念。一个离散随机变量 $X$ 在取值 $x$ 处的概率质量，记为 $p_X(x)$ 或简记为 $p(x)$，定义为该变量恰好取该值的概率：

所有可能取值处概率质量非负且总和为 1：$\sum_x p_X(x) = 1$。正是这种"质量"的隐喻——概率如同离散质点分布在实数轴的可数个点上——赋予了该概念直观的物理解释，也与连续型变量的概率密度形成鲜明对照：概率质量可大于 1（因它是概率本身），而概率密度则无此限制。

概率质量函数 (Probability Mass Function, PMF)

以概率质量为值的函数 $p_X: \mathcal{X} \to [0, 1]$ 称为概率质量函数（PMF），其中支撑集 $\mathcal{X} = \{x : p_X(x) > 0\}$ 为有限或可数无限集。PMF 完全刻画了离散随机变量的分布：任意事件 $A \subseteq \mathcal{X}$ 的概率通过求和即可获得：

常见的离散分布均由各自的 PMF 定义。例如伯努利分布的 PMF 为 $p_X(1) = p,\ p_X(0) = 1-p$；二项分布 $B(n, p)$ 的 PMF 为：

泊松分布 $\operatorname{Pois}(\lambda)$ 的 PMF 支撑集为全体非负整数：

概率质量与累积分布函数

离散随机变量的累积分布函数（CDF）由概率质量的阶梯累加而成：

CDF 在每一个有概率质量的点 $x$ 处发生跳跃，跳跃的幅度恰好等于该点的概率质量：$p_X(x) = F_X(x) - F_X(x-)$。这一关系揭示了概率质量的本质——它是 CDF 跳跃的不连续增量，也是离散分布区别于绝对连续分布的根本特征。

概率质量与概率密度的对比

在连续随机变量情形下，单点概率恒为零，无法定义概率质量，转而由概率密度函数（PDF）描述分布的相对集中程度：$\mathbb{P}(a \leq X \leq b) = \int_a^b f_X(x)\,dx$。概率质量是概率本身（取值在 $[0,1]$ 内），概率密度则是一个比率，其值可远超 1。两者通过测度论的视角在Lebesgue积分框架下得到统一：相对于计数测度的 Radon-Nikodym 导数是 PMF，相对于 Lebesgue 测度的 Radon-Nikodym 导数是 PDF。混合型分布则可同时包含概率质量（原子）与密度成分，进一步拓展了这一框架的表达力。

信息论视角

概率质量在信息论中扮演核心角色。随机变量 $X$ 的熵（Shannon entropy）由概率质量定义：

熵衡量分布的"不确定性总量"——概率质量越集中于少数点，熵越小；概率质量越均匀散布，熵越大。KL散度（相对熵）$D_{\mathrm{KL}}(P \| Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)}$ 同样是基于概率质量衡量两个离散分布之间差异的基石性工具。