伯努利过程

伯努利过程（Bernoulli process）是概率论中最基本的随机过程之一，它由一系列独立的伯努利试验构成，每次试验的成功概率 $p$ 保持不变，失败概率为 $q = 1 - p$ 。该过程以瑞士数学家雅各布·伯努利（Jacob Bernoulli，1654–1705）命名，他最早在著作《推测术》（Ars Conjectandi）中系统研究了这类重复独立试验的规律。伯努利过程是理解更复杂随机过程（如泊松过程、马尔可夫链、鞅等）的重要基石。

形式化定义

一个伯努利过程 $\{X_1, X_2, X_3, \dots\}$ 是定义在某个概率空间上的随机变量序列，满足以下三个条件：

独立性：任意有限个随机变量 $X_{i_1}, X_{i_2}, \dots, X_{i_k}$ 相互独立。
同分布：每个 $X_i$ 服从伯努利分布，即

P(X_i = 1) = p,\quad P(X_i = 0) = 1-p,

其中参数 $p \in (0,1)$ 称为成功概率。

时齐性（stationarity）：成功概率 $p$ 不随指标 $i$ 的变化而改变。

换言之，伯努利过程是独立同分布（i.i.d.）伯努利随机变量的无穷序列。它是对重复进行同一随机试验的一种数学抽象——每次试验只有"成功"和"失败"两种互斥的结果。例如，反复抛一枚不均匀硬币，每次正面朝上的概率恒为 $p$ ，则正面朝上记为 $1$ 、反面朝上记为 $0$ ，所得的序列就是一个伯努利过程。

基本性质

无记忆性

伯努利过程具有无记忆性（memoryless property）：无论之前已经进行了多少次试验，也无论之前的试验结果是什么，下一次试验的成功概率始终是 $p$ 。形式化地，

P(X_{n+1}=1 \mid X_1, X_2, \dots, X_n) = P(X_{n+1}=1) = p.

这意味着过去的历史对未来的试验结果没有任何影响。无记忆性是伯努利过程最核心的特征之一，也是它区别于其他随机过程的关键所在。与之密切相关的是几何分布的无记忆性——等待首次成功所需的时间服从几何分布，而几何分布是离散分布中唯一具有无记忆性的分布。

二项分布

在 $n$ 次伯努利试验中，成功的总次数 $S_n = \sum_{i=1}^n X_i$ 服从参数为 $(n, p)$ 的二项分布：

P(S_n = k) = \binom{n}{k} p^k (1-p)^{n-k},\quad k = 0,1,\dots,n.

二项分布的期望为 $\mathbb{E}[S_n] = np$ ，方差为 $\operatorname{Var}(S_n) = np(1-p)$ 。当 $n=1$ 时，二项分布退化为伯努利分布。

几何分布

首次成功出现的试验次数 $T = \min\{n \ge 1 : X_n = 1\}$ 服从参数为 $p$ 的几何分布：

P(T = n) = (1-p)^{n-1} p,\quad n = 1,2,3,\dots.

其期望为 $\mathbb{E}[T] = 1/p$ ，方差为 $\operatorname{Var}(T) = (1-p)/p^2$ 。几何分布的一个直观解释是：前 $n-1$ 次全部失败，第 $n$ 次成功。

负二项分布

更一般地，第 $r$ 次成功出现的试验次数 $T_r$ 服从参数为 $(r, p)$ 的负二项分布（也称帕斯卡分布）：

P(T_r = n) = \binom{n-1}{r-1} p^r (1-p)^{n-r},\quad n = r, r+1, r+2, \dots.

其期望为 $\mathbb{E}[T_r] = r/p$ 。当 $r=1$ 时，负二项分布退化为几何分布。

泊松逼近

当试验次数 $n$ 很大、成功概率 $p$ 很小且乘积 $np = \lambda$ 保持适中时，二项分布逼近泊松分布：

\binom{n}{k} p^k (1-p)^{n-k} \approx \frac{\lambda^k e^{-\lambda}}{k!}.

这便是泊松极限定理（Poisson limit theorem）或称为"小概率事件定律"（law of small numbers）。它在保险精算、稀有疾病统计、放射性衰变计数等领域有着广泛应用。

大数定律与中心极限定理

对于伯努利过程，强大数定律（Strong Law of Large Numbers）指出样本均值几乎必然收敛于成功概率：

\frac{S_n}{n} \xrightarrow{\text{a.s.}} p \quad (n \to \infty).

著名数学家理查德·冯·米泽斯（Richard von Mises）甚至将这一性质作为概率本身的定义基础。中心极限定理（Central Limit Theorem）则给出成功次数 $S_n$ 的渐近正态分布：

\frac{S_n - np}{\sqrt{np(1-p)}} \xrightarrow{d} \mathcal{N}(0,1),

其中 $\xrightarrow{d}$ 表示依分布收敛。这个结论是德莫弗-拉普拉斯定理（De Moivre–Laplace theorem）的核心内容，也是历史上第一个中心极限定理。它为比例的区间估计和假设检验奠定了理论基础。

推广形式

推广类型	说明
复合伯努利过程	每次试验成功时附带一个随机"回报"（reward），总回报为各次回报之和
随机停止的伯努利过程	停止时间 $N$ 为随机变量，涉及 Wald 方程 $\mathbb{E}[S_N] = p \cdot \mathbb{E}[N]$
非齐次伯努利过程	各次试验的成功概率 $p_i$ 不再恒定，而是随 $i$ 变化
伯努利鞅（Bernoulli martingale）	定义 $M_n = S_n - np$ ，则 $\{M_n\}$ 是一个鞅序列，是鞅理论中最基本的例子之一
滤过伯努利过程	在每次试验后引入一个与结果相关的随机变量，形成滤波后的依赖结构

广泛的应用场景

伯努利过程作为最简单的随机过程，其应用遍布自然科学和社会科学的各个领域：

质量控制与工业统计：对生产线产品进行逐件抽检，每次检查是否为次品（defective），通过累积数据监控不合格率 $p$ 是否超出容忍范围。休哈特控制图（Shewhart control chart）中的 p 图就是基于伯努利过程设计的。
通信与信息论：数据包在噪声信道中传输时是否出错，每个包的成功传输可视为一次伯努利试验。二进制对称信道（BSC）的输入-输出关系本质上由伯努利过程刻画。香农的信道编码定理推导中大量使用了伯努利过程的性质。
生物统计与流行病学：在临床试验中记录患者是否对治疗产生响应；在流行病学中追踪每个个体是否感染疾病。这些都可以建模为伯努利过程。
机器学习与深度学习：Dropout 正则化技术中，每个神经元以概率 $p$ 被保留、以概率 $1-p$ 被丢弃，每次前向传播相当于独立采样一个伯努利过程。这一简单操作能有效防止过拟合。
金融经济学：每日股价是否上涨超过某个阈值、每笔交易是否为盈利交易——这些二元事件序列常被简化为伯努利过程进行分析。
排队论：离散时间排队系统（Geo/G/1 队列等）中的到达过程可视为伯努利到达过程（Bernoulli arrival process），每个时隙恰好有一个顾客以概率 $p$ 到达。

与泊松过程的联系

伯努利过程是离散时间版本的泊松过程。如果将时间轴无限细分为长度为 $\Delta t$ 的时隙，并令每个时隙中事件发生的概率为 $p = \lambda \Delta t$ ，则当 $\Delta t \to 0$ 时，伯努利过程在极限下收敛为参数为 $\lambda$ 的泊松过程。具体而言：

伯努利过程中的二项分布收敛为泊松过程的泊松分布。
伯努利过程中的几何等待时间收敛为泊松过程的指数等待时间。
伯努利过程中的负二项等待时间收敛为泊松过程的爱尔朗（Erlang）等待时间。

这一极限关系揭示了离散随机过程与连续随机过程之间的深层联系，也体现了概率论中"离散先于连续"的内在逻辑。

参见

参考文献

Jacob Bernoulli, Ars Conjectandi (1713). English translation: The Art of Conjecturing, Johns Hopkins University Press, 2006.
Sheldon M. Ross, Introduction to Probability Models (12th edition), Academic Press, 2019.
William Feller, An Introduction to Probability Theory and Its Applications, Volume I (3rd edition), Wiley, 1968.
Patrick Billingsley, Probability and Measure (Anniversary edition), Wiley, 2012.
Geoffrey Grimmett \& David Stirzaker, Probability and Random Processes (4th edition), Oxford University Press, 2020.

返回百科索引