KNOWECON WIKI

ARTICLE

伯努利过程

伯努利过程 伯努利过程（Bernoulli process）是概率论中最基本的随机过程之一，它由一系列独立的[伯努利试验](/wikis/伯努利试验)构成，每次试验的成功概率 p 保持不变，失败概率为 q = 1 - p 。该过程以瑞士数学家雅各布·伯努利（Jacob Bernoulli，1654–1705）命名，他最早在著作《推测术》（*Ars Conje

浏览 3 更新 2025-10-26

伯努利过程

伯努利过程（Bernoulli process）是概率论中最基本的随机过程之一，它由一系列独立的[伯努利试验](/wikis/伯努利试验)构成，每次试验的成功概率 p p 保持不变，失败概率为 q=1−p q = 1 - p 。该过程以瑞士数学家雅各布·伯努利（Jacob Bernoulli，1654–1705）命名，他最早在著作《推测术》（*Ars Conjectandi*）中系统研究了这类重复独立试验的规律。伯努利过程是理解更复杂随机过程（如泊松过程、马尔可夫链、鞅等）的重要基石。

形式化定义

一个伯努利过程 {X1,X2,X3,… } \{X_1, X_2, X_3, \dots\} 是定义在某个概率空间上的随机变量序列，满足以下三个条件：

  1. 独立性：任意有限个随机变量 Xi1,Xi2,…,Xik X_{i_1}, X_{i_2}, \dots, X_{i_k} 相互独立。
  2. 同分布：每个 Xi X_i 服从伯努利分布，即
P(Xi=1)=p,P(Xi=0)=1−p,P(X_i = 1) = p,\quad P(X_i = 0) = 1-p,

其中参数 p∈(0,1) p \in (0,1) 称为成功概率。

  1. 时齐性（stationarity）：成功概率 p p 不随指标 i i 的变化而改变。

换言之，伯努利过程是独立同分布（i.i.d.）伯努利随机变量的无穷序列。它是对重复进行同一随机试验的一种数学抽象——每次试验只有"成功"和"失败"两种互斥的结果。例如，反复抛一枚不均匀硬币，每次正面朝上的概率恒为 p p ，则正面朝上记为 1 1 、反面朝上记为 0 0 ，所得的序列就是一个伯努利过程。

基本性质

无记忆性

伯努利过程具有无记忆性（memoryless property）：无论之前已经进行了多少次试验，也无论之前的试验结果是什么，下一次试验的成功概率始终是 p p 。形式化地，

P(Xn+1=1∣X1,X2,…,Xn)=P(Xn+1=1)=p.P(X_{n+1}=1 \mid X_1, X_2, \dots, X_n) = P(X_{n+1}=1) = p.

这意味着过去的历史对未来的试验结果没有任何影响。无记忆性是伯努利过程最核心的特征之一，也是它区别于其他随机过程的关键所在。与之密切相关的是几何分布的无记忆性——等待首次成功所需的时间服从几何分布，而几何分布是离散分布中唯一具有无记忆性的分布。

二项分布

在 n n 次伯努利试验中，成功的总次数 Sn=∑i=1nXi S_n = \sum_{i=1}^n X_i 服从参数为 (n,p) (n, p) 的[二项分布](/wikis/二项分布)：

P(Sn=k)=(nk)pk(1−p)n−k,k=0,1,…,n.P(S_n = k) = \binom{n}{k} p^k (1-p)^{n-k},\quad k = 0,1,\dots,n.

二项分布的期望为 E[Sn]=np \mathbb{E}[S_n] = np ，方差为 Var⁡(Sn)=np(1−p) \operatorname{Var}(S_n) = np(1-p) 。当 n=1 n=1 时，二项分布退化为伯努利分布。

几何分布

首次成功出现的试验次数 T=min⁡{n≥1:Xn=1} T = \min\{n \ge 1 : X_n = 1\} 服从参数为 p p 的[几何分布](/wikis/几何分布)：

P(T=n)=(1−p)n−1p,n=1,2,3,… .P(T = n) = (1-p)^{n-1} p,\quad n = 1,2,3,\dots.

其期望为 E[T]=1/p \mathbb{E}[T] = 1/p ，方差为 Var⁡(T)=(1−p)/p2 \operatorname{Var}(T) = (1-p)/p^2 。几何分布的一个直观解释是：前 n−1 n-1 次全部失败，第 n n 次成功。

负二项分布

更一般地，第 r r 次成功出现的试验次数 Tr T_r 服从参数为 (r,p) (r, p) 的[负二项分布](/wikis/负二项分布)（也称帕斯卡分布）：

P(Tr=n)=(n−1r−1)pr(1−p)n−r,n=r,r+1,r+2,… .P(T_r = n) = \binom{n-1}{r-1} p^r (1-p)^{n-r},\quad n = r, r+1, r+2, \dots.

其期望为 E[Tr]=r/p \mathbb{E}[T_r] = r/p 。当 r=1 r=1 时，负二项分布退化为几何分布。

泊松逼近

当试验次数 n n 很大、成功概率 p p 很小且乘积 np=λ np = \lambda 保持适中时，二项分布逼近[泊松分布](/wikis/泊松分布)：

(nk)pk(1−p)n−k≈λke−λk!.\binom{n}{k} p^k (1-p)^{n-k} \approx \frac{\lambda^k e^{-\lambda}}{k!}.

这便是泊松极限定理（Poisson limit theorem）或称为"小概率事件定律"（law of small numbers）。它在保险精算、稀有疾病统计、放射性衰变计数等领域有着广泛应用。

大数定律与中心极限定理

对于伯努利过程，强大数定律（Strong Law of Large Numbers）指出样本均值几乎必然收敛于成功概率：

Snn→a.s.p(n→∞).\frac{S_n}{n} \xrightarrow{\text{a.s.}} p \quad (n \to \infty).

著名数学家理查德·冯·米泽斯（Richard von Mises）甚至将这一性质作为概率本身的定义基础。中心极限定理（Central Limit Theorem）则给出成功次数 Sn S_n 的渐近正态分布：

Sn−npnp(1−p)→dN(0,1),\frac{S_n - np}{\sqrt{np(1-p)}} \xrightarrow{d} \mathcal{N}(0,1),

其中 →d \xrightarrow{d} 表示依分布收敛。这个结论是德莫弗-拉普拉斯定理（De Moivre–Laplace theorem）的核心内容，也是历史上第一个中心极限定理。它为比例的区间估计和假设检验奠定了理论基础。

推广形式

| 推广类型 | 说明 | |---------|------| | 复合伯努利过程 | 每次试验成功时附带一个随机"回报"（reward），总回报为各次回报之和 | | 随机停止的伯努利过程 | 停止时间 N N 为随机变量，涉及 Wald 方程 E[SN]=p⋅E[N] \mathbb{E}[S_N] = p \cdot \mathbb{E}[N] | | 非齐次伯努利过程 | 各次试验的成功概率 pi p_i 不再恒定，而是随 i i 变化 | | 伯努利鞅（Bernoulli martingale） | 定义 Mn=Sn−np M_n = S_n - np ，则 {Mn} \{M_n\} 是一个鞅序列，是鞅理论中最基本的例子之一 | | 滤过伯努利过程 | 在每次试验后引入一个与结果相关的随机变量，形成滤波后的依赖结构 |

广泛的应用场景

伯努利过程作为最简单的随机过程，其应用遍布自然科学和社会科学的各个领域：

  • 质量控制与工业统计：对生产线产品进行逐件抽检，每次检查是否为次品（defective），通过累积数据监控不合格率 p p 是否超出容忍范围。休哈特控制图（Shewhart control chart）中的 p 图就是基于伯努利过程设计的。
  • 通信与信息论：数据包在噪声信道中传输时是否出错，每个包的成功传输可视为一次伯努利试验。二进制对称信道（BSC）的输入-输出关系本质上由伯努利过程刻画。香农的信道编码定理推导中大量使用了伯努利过程的性质。
  • 生物统计与流行病学：在临床试验中记录患者是否对治疗产生响应；在流行病学中追踪每个个体是否感染疾病。这些都可以建模为伯努利过程。
  • 机器学习与深度学习：Dropout 正则化技术中，每个神经元以概率 p p 被保留、以概率 1−p 1-p 被丢弃，每次前向传播相当于独立采样一个伯努利过程。这一简单操作能有效防止过拟合。
  • 金融经济学：每日股价是否上涨超过某个阈值、每笔交易是否为盈利交易——这些二元事件序列常被简化为伯努利过程进行分析。
  • 排队论：离散时间排队系统（Geo/G/1 队列等）中的到达过程可视为伯努利到达过程（Bernoulli arrival process），每个时隙恰好有一个顾客以概率 p p 到达。

与泊松过程的联系

伯努利过程是离散时间版本的泊松过程。如果将时间轴无限细分为长度为 Δt \Delta t 的时隙，并令每个时隙中事件发生的概率为 p=λΔt p = \lambda \Delta t ，则当 Δt→0 \Delta t \to 0 时，伯努利过程在极限下收敛为参数为 λ \lambda 的[泊松过程](/wikis/泊松过程)。具体而言：

  • 伯努利过程中的二项分布收敛为泊松过程的泊松分布。
  • 伯努利过程中的几何等待时间收敛为泊松过程的指数等待时间。
  • 伯努利过程中的负二项等待时间收敛为泊松过程的爱尔朗（Erlang）等待时间。

这一极限关系揭示了离散随机过程与连续随机过程之间的深层联系，也体现了概率论中"离散先于连续"的内在逻辑。

参见

  • [伯努利试验](/wikis/伯努利试验)
  • [二项分布](/wikis/二项分布)
  • [几何分布](/wikis/几何分布)
  • [负二项分布](/wikis/负二项分布)
  • [泊松分布](/wikis/泊松分布)
  • [泊松过程](/wikis/泊松过程)
  • [随机过程](/wikis/随机过程)
  • [鞅](/wikis/鞅)
  • [大数定律](/wikis/大数定律)
  • [中心极限定理](/wikis/中心极限定理)

参考文献

  1. Jacob Bernoulli, *Ars Conjectandi* (1713). English translation: *The Art of Conjecturing*, Johns Hopkins University Press, 2006.
  2. Sheldon M. Ross, *Introduction to Probability Models* (12th edition), Academic Press, 2019.
  3. William Feller, *An Introduction to Probability Theory and Its Applications*, Volume I (3rd edition), Wiley, 1968.
  4. Patrick Billingsley, *Probability and Measure* (Anniversary edition), Wiley, 2012.
  5. Geoffrey Grimmett \& David Stirzaker, *Probability and Random Processes* (4th edition), Oxford University Press, 2020.