概率分布函数

概率分布函数 (Probability Distribution Function)

概率分布函数是概率论中用于描述随机变量取值规律的核心数学工具。它的基本功能是给出随机变量取某一特定值或落在某一特定范围内的概率大小。根据随机变量的类型不同，概率分布函数主要有三种表现形式：概率质量函数（用于离散随机变量）、概率密度函数（用于连续随机变量）以及累积分布函数（通用形式）。这三者相互联系、彼此补充，共同构成了概率分布函数的概念体系，是数理统计、机器学习、计量经济学、金融工程等诸多学科的理论基础。

累积分布函数

累积分布函数（Cumulative Distribution Function, CDF）是最通用的概率描述方式。对于任意随机变量 $X$，其累积分布函数定义为：

这表示随机变量 $X$ 取值不超过某个实数 $x$ 的概率。累积分布函数具有以下三条基本性质：

• 单调非递减性：若 $x_1 < x_2$，则必有 $F(x_1) \leq F(x_2)$。这意味着随着 $x$ 的增大，累积概率只增不减。
• 有界性：当自变量趋于负无穷时概率趋于零，趋于正无穷时概率趋于一，即 $\lim_{x \to -\infty} F(x) = 0$，$\lim_{x \to +\infty} F(x) = 1$。
• 右连续性：$F(x)$ 在任意点处右连续，即 $F(x) = \lim_{t \to x^+} F(t)$。这一性质在数学上保证了分布函数的可测性。

累积分布函数的最大优势在于其通用性。无论随机变量是离散型、连续型还是混合型，CDF 都能统一地描述其概率分布。对于连续型随机变量，CDF 是一条光滑递增的曲线；对于离散型随机变量，CDF 则是右连续的阶梯函数，在每个可能取值处发生跳跃，跳跃的高度恰好等于该点的概率值。利用 CDF，可以方便地计算随机变量落在任意区间内的概率：$P(a < X \leq b) = F(b) - F(a)$。

概率质量函数

概率质量函数（Probability Mass Function, PMF）专门用于描述离散随机变量的概率分布。若随机变量 $X$ 的取值集合为 $\{x_1, x_2, \dots, x_n\}$（有限集或可数无限集），则 PMF 定义为：

概率质量函数必须满足两个基本条件：第一，非负性，对所有 $x_i$ 有 $p(x_i) \geq 0$；第二，归一性，所有取值的概率之和为 $1$，即 $\sum_{i} p(x_i) = 1$。这两个条件确保了 PMF 确实定义了一个合法的概率分布。

常见的离散概率分布包括：

• 伯努利分布：取值仅为 $0$ 或 $1$，单参数 $p$ 表示成功概率，PMF 为 $P(X=1)=p$，$P(X=0)=1-p$。它是描述单次随机试验结果的最基本分布。
• 二项分布：$n$ 次独立重复的伯努利试验中成功次数的分布，PMF 为 $P(X=k) = \binom{n}{k} p^k (1-p)^{n-k}$。它广泛应用于质量检验、民意调查等领域。
• 泊松分布：描述单位时间或空间内随机事件发生次数的分布，PMF 为 $P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}$，其中 $\lambda$ 是平均发生率。它在保险精算、排队论中有重要应用。

离散随机变量的 CDF 与 PMF 之间存在着直接的加和关系：$F(x) = \sum_{x_i \leq x} p(x_i)$。换言之，CDF 在任意点 $x$ 处的值就是所有不超过 $x$ 的取值点的概率之和。

概率密度函数

概率密度函数（Probability Density Function, PDF）用于描述连续随机变量的分布特征。与离散情形不同，连续随机变量在任意单个点上的概率严格为零，因此不能像 PMF 那样逐点定义概率。取而代之的是，通过密度函数在区间上的积分来刻画概率：

概率密度函数同样必须满足非负性（$f(x) \geq 0$ 对所有 $x$ 成立）和归一性（$\int_{-\infty}^{\infty} f(x) \, dx = 1$）。需要注意的是，$f(x)$ 本身并不是概率，而是概率的"密度"——$f(x)$ 的值可以大于 $1$，但在整个实数轴上的积分必须等于 $1$。

常用的连续概率分布包括：

• 正态分布：PDF 为 $f(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$，其中 $\mu$ 为均值、$\sigma$ 为标准差。正态分布是自然科学和社会科学中最重要的分布，中心极限定理保证了大量独立随机变量的和趋近于正态分布。
• 均匀分布：在区间 $[a,b]$ 上 PDF 为常数 $f(x) = \frac{1}{b-a}$，表示取值在区间内处处等可能。
• 指数分布：PDF 为 $f(x) = \lambda e^{-\lambda x}$（$x \geq 0$），常用于描述无记忆性的等待时间，如设备寿命、服务时间等。

PDF 与 CDF 之间通过微积分基本定理相联系：$F(x) = \int_{-\infty}^x f(t) \, dt$，且在 $f$ 的连续点处有 $F'(x) = f(x)$。也就是说，累积分布函数的导数就是概率密度函数。

三者之间的内在关系

概率质量函数和概率密度函数分别对应离散与连续情形下的"概率分布律"，而累积分布函数则提供了一个统一的数学框架。理解三者之间的关系对于灵活运用概率工具至关重要。

• 求和与积分的对应：离散情形的求和运算 $\sum$ 在连续情形下替换为积分运算 $\int$。离散分布的 CDF 是 PMF 的累加和，连续分布的 CDF 是 PDF 的积分。这种对应关系体现了概率论在离散与连续两种情形下的高度一致性。
• 测度论视角的统一：在现代概率论中，概率分布函数通过勒贝格-斯蒂尔切斯积分得以严格统一。对于任意随机变量 $X$，其概率分布由分布函数 $F(x)$ 唯一确定，而 PMF 和 PDF 则是 $F(x)$ 在特定条件下的特殊表现形式——PMF 是 CDF 的跳跃点处的跃度，PDF 是 CDF 的导数。
• 分位数与逆变换：CDF 的反函数（即分位数函数）在随机模拟中具有重要应用。通过逆变换法，可以利用均匀分布的随机数生成任意分布的随机样本，这正是蒙特卡洛模拟的基石。

应用与意义

概率分布函数在统计学的各个分支中都有着不可替代的作用。在参数估计中，分布函数是构建极大似然估计的基础；在贝叶斯统计中，先验分布与后验分布均通过分布函数来刻画；在假设检验中，检验统计量的分布决定了拒绝域的边界和 p 值的计算；在机器学习中，生成式模型的核心任务就是对数据的联合概率分布函数进行建模。此外，中心极限定理揭示了大量独立随机变量之和的分布趋近于正态分布，这一定理的严格证明直接依赖于分布函数的收敛性概念。可以说，概率分布函数是人类理解和量化不确定性的最重要数学工具之一。