# 概率分布 (Probability Distribution)
概率分布 (Probability Distribution) 是{{{概率论}}}和{{{统计学}}}中的一个核心概念。它是一个数学函数，用于描述一个{{{random variable}}}（随机变量）所有可能取值及其对应的{{{概率}}}。简而言之，概率分布完整地刻画了随机变量的随机性，是进行{{{统计推断}}}和数据分析的基础。
一个{{{随机变量}}} $X$ 的概率分布，取决于该变量是离散的还是连续的。
## 离散概率分布 (Discrete Probability Distributions)
当一个随机变量 $X$ 只能取有限个或可数无限个数值时（例如：掷骰子的点数1, 2, 3, 4, 5, 6；一天内接到的电话数量0, 1, 2, $...$），我们称之为{{{离散随机变量}}}。其概率分布由一个 概率质量函数 (Probability Mass Function, PMF) 来描述。
### 概率质量函数 (PMF)
概率质量函数，通常记作 $p(x)$ 或 $P(X=x)$，给出了随机变量 $X$ 等于某个特定值 $x$ 的概率。
一个有效的PMF必须满足以下两个条件： 1. 非负性：对于所有可能的取值 $x$，其概率必须为非负数。 $$ p(x) = P(X=x) \ge 0 $$ 2. 归一性：所有可能取值的概率之和必须等于1。 $$ \sum_{x} p(x) = 1 $$ 这里的求和是对 $X$ 的所有可能取值进行的。
常见的离散概率分布包括：
* {{{Bernoulli distribution}}} (伯努利分布)：描述单次试验的成功或失败，如抛一次硬币。随机变量只能取两个值（通常是0和1）。 * {{{Binomial distribution}}} (二项分布)：描述在一系列固定的、独立的伯努利试验中，成功的次数。例如，抛10次硬币，出现正面的次数。 * {{{Poisson distribution}}} (泊松分布)：描述在固定的时间或空间间隔内，某个事件发生的次数。例如，一个呼叫中心在一小时内接到的电话数量。
## 连续概率分布 (Continuous Probability Distributions)
当一个随机变量 $X$ 可以取某一区间内的任意数值时（例如：一个人的身高、一次测量的温度），我们称之为{{{连续随机变量}}}。其概率分布由一个 概率密度函数 (Probability Density Function, PDF) 来描述。
### 概率密度函数 (PDF)
概率密度函数，通常记作 $f(x)$，与PMF有本质区别。对于一个连续随机变量，其取任何单个特定值的概率理论上为零，即 $P(X=x) = 0$。因此，PDF本身不代表概率。
PDF的价值在于，通过对其在某个区间上进行{{{积分}}}，可以得到随机变量落入该区间的概率。换言之，概率由曲线下的面积表示。
$$ P(a \le X \le b) = \int_{a}^{b} f(x) \,dx $$
一个有效的PDF必须满足以下两个条件： 1. 非负性：对于所有 $x$，函数值必须为非负数。 $$ f(x) \ge 0 $$ 2. 归一性：函数在整个实数范围内的积分必须等于1。 $$ \int_{-\infty}^{\infty} f(x) \,dx = 1 $$
常见的连续概率分布包括：
* {{{Normal distribution}}} (正态分布)：也称为高斯分布，是自然界和工程领域中最常见的分布，其形状呈对称的“钟形曲线”。许多统计方法都基于正态分布的假设。 * {{{Uniform distribution}}} (均匀分布)：在某个区间内的所有取值的概率密度都相等。例如，一个理想的随机数生成器在[0, 1]区间内生成一个数。 * {{{Exponential distribution}}} (指数分布)：描述独立随机事件发生的时间间隔。例如，一个灯泡的使用寿命。
## 累积分布函数 (Cumulative Distribution Function, CDF)
累积分布函数，记作 $F(x)$，是一个对离散和连续随机变量都适用的统一概念。它定义为随机变量 $X$ 的取值小于或等于某个特定值 $x$ 的概率。
$$ F(x) = P(X \le x) $$
CDF对于任何类型的随机变量都具有以下性质： * $F(x)$ 是一个非递减函数。 * $ \lim_{x \to -\infty} F(x) = 0 $ * $ \lim_{x \to +\infty} F(x) = 1 $
对于离散随机变量，CDF是通过对PMF求和得到的： $$ F(x) = \sum_{t \le x} p(t) $$
对于连续随机变量，CDF是通过对PDF积分得到的： $$ F(x) = \int_{-\infty}^{x} f(t) \,dt $$ 反之，PDF是CDF的导数：$f(x) = \frac{dF(x)}{dx}$。
## 描述概率分布的关键特征
我们可以用一些关键的数值特征来概括一个概率分布的中心位置、离散程度和形状。
### 1. 集中趋势的度量 (Measures of Central Tendency)
* {{{Expected Value}}} (期望值或均值)：分布的“重心”，是所有可能取值按其概率加权的平均值，记作 $E[X]$ 或 $\mu$。 * 离散情况：$E[X] = \sum_{x} x \cdot p(x)$ * 连续情况：$E[X] = \int_{-\infty}^{\infty} x \cdot f(x) \,dx$ * {{{Median}}} (中位数)：将分布分成概率相等的两半的值 $m$。即 $P(X \le m) \ge 0.5$ 且 $P(X \ge m) \ge 0.5$。对于连续分布，中位数 $m$ 满足 $F(m) = 0.5$。 * {{{Mode}}} (众数)：分布中概率最大或概率密度最大的值，即分布的峰值点。
### 2. 离散程度的度量 (Measures of Dispersion)
* {{{Variance}}} (方差)：度量数据点与其均值的偏离程度的平方的期望值，记作 $Var(X)$ 或 $\sigma^2$。 $$ Var(X) = E[(X - \mu)^2] $$ * 离散情况：$Var(X) = \sum_{x} (x - \mu)^2 \cdot p(x)$ * 连续情况：$Var(X) = \int_{-\infty}^{\infty} (x - \mu)^2 \cdot f(x) \,dx$ * {{{Standard Deviation}}} (标准差)：方差的平方根，记作 $\sigma$。它与随机变量本身具有相同的单位，因此更具解释性。 $$ \sigma = \sqrt{Var(X)} $$
## 概率分布的应用
概率分布是现代科学的基石，其应用无处不在： * {{{Statistical inference}}}：通过样本数据所呈现的分布，推断总体的未知参数。例如，通过样本均值的分布进行{{{hypothesis testing}}}。 * {{{金融}}}与{{{风险管理}}}：用概率分布（如对数正态分布）为{{{股票}}}收益建模，计算{{{Value at Risk (VaR)}}}。 * 精算科学：使用死亡率分布来定价{{{保险}}}产品。 * 物理学与工程学：在{{{量子力学}}}中，粒子的状态由概率波函数描述；在通信理论中，噪声信号通常被建模为正态分布。 * 机器学习：许多算法的输出是概率分布，例如在分类问题中输出一个样本属于各个类别的概率。