KNOWECON WIKI

ARTICLE

Bernoulli分布

伯努利分布 (Bernoulli Distribution) 伯努利分布是概率论中最基础的离散概率分布，以瑞士数学家雅各布·伯努利（Jakob Bernoulli, 1654--1705）命名。他于遗著《猜度术》（Ars Conjectandi, 1713 年出版）中首次以严格的数学框架处理了二元随机试验的规律，为后世概率论的发展奠定了基石。伯努利分布刻画了

浏览 0 更新 2025-07-12

伯努利分布 (Bernoulli Distribution)

伯努利分布是概率论中最基础的离散概率分布，以瑞士数学家雅各布·伯努利（Jakob Bernoulli, 1654--1705）命名。他于遗著《猜度术》（Ars Conjectandi, 1713 年出版）中首次以严格的数学框架处理了二元随机试验的规律，为后世概率论的发展奠定了基石。伯努利分布刻画了一次只有两种互斥结果的随机试验：通常称为"成功"（取值为 11）与"失败"（取值为 00）。尽管结构极为简单，它却是所有二值随机变量最根本的概率模型，也是构建二项分布、几何分布、负二项分布等更复杂分布不可再分的逻辑原子。

若随机变量 XX 服从参数为 pp 的伯努利分布，记作：

X∼Bernoulli(p),p∈[0,1]X \sim \mathrm{Bernoulli}(p), \quad p \in [0, 1]

其中 pp 表示单次试验中成功的概率。令 q=1−pq = 1-p 表示失败概率。

概率质量函数

伯努利随机变量的概率质量函数可紧凑地写为单一表达式：

P(X=k)=pk(1−p)1−k,k∈{0,1}P(X = k) = p^k (1-p)^{1-k}, \quad k \in \{0, 1\}

展开即：

P(X=1)=p,P(X=0)=1−p=qP(X = 1) = p, \qquad P(X = 0) = 1 - p = q

将 PMF 写为 pk(1−p)1−kp^k (1-p)^{1-k} 的指数形式并非故弄玄虚，而是为了极大似然估计中似然函数连乘积的表达便利。该分布仅由一个参数 pp 完全确定，是整个概率分布族中自由度最低的成员：给定 pp，分布的一切性质便被彻底锁定。

数字特征

由于伯努利变量只取 0 和 1，其各阶矩的计算均不涉及积分或无穷级数，具有极简的闭式解。

期望：

E[X]=1⋅p+0⋅q=p\mathbb{E}[X] = 1 \cdot p + 0 \cdot q = p

期望值恰好等于成功概率本身——依据大数定律，无限次独立重复试验的样本均值以概率 1 收敛于 pp。

方差：

Var⁡(X)=E[X2]−(E[X])2=p−p2=p(1−p)=pq\operatorname{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 = p - p^2 = p(1-p) = pq

这里利用了 E[X2]=12⋅p+02⋅q=p\mathbb{E}[X^2] = 1^2 \cdot p + 0^2 \cdot q = p，即伯努利变量平方后不变。方差作为 pp 的函数是开口向下的抛物线，在 p=0.5p = 0.5 时达到最大值 0.250.25，在 p→0p \to 0 或 p→1p \to 1 时趋于零：当结果几乎确定时随机性消失，当两种结果等可能时不确定性最大。

矩母函数：

MX(t)=E[etX]=et⋅1p+et⋅0q=q+petM_X(t) = \mathbb{E}[e^{tX}] = e^{t \cdot 1} p + e^{t \cdot 0} q = q + p e^t

由于 MGF 在 R\mathbb{R} 上处处有限，伯努利分布的所有阶矩均存在，且可通过 t=0t=0 处的逐阶导数求出。

特征函数：

φX(t)=E[eitX]=q+peit\varphi_X(t) = \mathbb{E}[e^{itX}] = q + p e^{it}

特征函数在推导伯努利和到二项分布的过程中尤为便利——独立随机变量之和的特征函数等于各自特征函数的乘积，由此即得二项分布的特征函数 φSn(t)=(q+peit)n\varphi_{S_n}(t) = (q + p e^{it})^n。

熵（以 nats 为单位）：

H(X)=−pln⁡p−qln⁡qH(X) = -p \ln p - q \ln q

此即信息论中二元熵函数 Hb(p)H_b(p) 的定义。它在 p=0p = 0 或 11 处为 00（结果确定，不携带信息），在 p=0.5p = 0.5 处达最大值 ln⁡2≈0.693\ln 2 \approx 0.693 nats（即 1 bit）。二元熵函数在决策树的分裂准则、信道容量分析和KL 散度计算中频繁出现。

偏度与峰度：

Skew(X)=q−ppq=1−2pp(1−p),Kurt(X)=1pq−3=1−6pqpq\mathrm{Skew}(X) = \frac{q - p}{\sqrt{pq}} = \frac{1 - 2p}{\sqrt{p(1-p)}}, \qquad \mathrm{Kurt}(X) = \frac{1}{pq} - 3 = \frac{1 - 6pq}{pq}

当 p<0.5p < 0.5 时右偏，p>0.5p > 0.5 时左偏，p=0.5p = 0.5 时对称。超额峰度恒正（除非 p∈{0,1}p \in \{0,1\} 退化为常数），表明伯努利分布相对正态分布始终为尖峰厚尾。

指数族表示

伯努利分布属于指数族，其 PMF 可重新参数化为指数族的自然形式：

P(X=k)=exp⁡{k⋅ln⁡p1−p+ln⁡(1−p)}P(X = k) = \exp\left\{ k \cdot \ln\frac{p}{1-p} + \ln(1-p) \right\}

由此读出自然参数 η=ln⁡p1−p\eta = \ln\frac{p}{1-p}（对数几率，即 logit 函数），充分统计量 T(k)=kT(k) = k，对数配分函数 A(η)=ln⁡(1+eη)A(\eta) = \ln(1 + e^{\eta})。指数族结构直接保证了以下性质：E[T(X)]=A′(η)=p\mathbb{E}[T(X)] = A'(\eta) = p，Var⁡(T(X))=A′′(η)=p(1−p)\operatorname{Var}(T(X)) = A''(\eta) = p(1-p)，无需重新计算。这一结构也是广义线性模型（GLM）中逻辑回归作为伯努利响应加 logit 链接的理论基础。

与其他分布的关系

伯努利分布是整个离散分布网络中的枢纽节点：

  • 二项分布：nn 个独立同分布 Bernoulli(p)\mathrm{Bernoulli}(p) 之和服从 Binomial(n,p)\mathrm{Binomial}(n, p)。伯努利分布即 n=1n = 1 时的二项分布。反过来，二项分布的一切性质（期望 npnp、方差 npqnpq、可加性）均可从伯努利变量的和出发直接导出。
  • 几何分布：独立伯努利序列中首次成功所需试验次数服从 Geometric(p)\mathrm{Geometric}(p)，PMF 为 P(Y=k)=qk−1pP(Y=k) = q^{k-1} p。无记忆性根源于各次试验之间的独立性。
  • 负二项分布：等待第 rr 次成功所需次数服从 NB(r,p)\mathrm{NB}(r, p)，可视作 rr 个独立几何变量之和。
  • 范畴分布：伯努利分布是范畴分布在类别数 K=2K = 2 时的退化情形。范畴分布的参数向量在 (K−1)(K-1)-维单纯形上，当 K=2K=2 时单纯形退化为 [0,1][0,1] 区间。
  • Rademacher 分布：Y=2X−1Y = 2X - 1 将取值映射到 {−1,+1}\{-1, +1\}，常用于机器学习中的 Rademacher 复杂度和随机梯度分析。
  • 泊松极限：当 n→∞n \to \infty、p→0p \to 0 且 np→λnp \to \lambda 时，Binomial(n,p)→Poisson(λ)\mathrm{Binomial}(n, p) \to \mathrm{Poisson}(\lambda)。此稀有事件极限的微观基础正是伯努利试验。

充分统计量与似然理论

伯努利模型是展示充分统计量概念的经典范例。给定独立观测 x=(x1,…,xn)\mathbf{x} = (x_1, \dots, x_n)，似然函数为：

L(p∣x)=∏i=1npxi(1−p)1−xi=pk(1−p)n−kL(p \mid \mathbf{x}) = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} = p^{k} (1-p)^{n-k}

其中 k=∑i=1nxik = \sum_{i=1}^n x_i。由Fisher-Neyman因子分解定理，kk 是关于参数 pp 的充分统计量——它包含了样本中关于 pp 的全部信息，单个观测的顺序和模式不提供任何额外信息。对数似然：

ℓ(p)=kln⁡p+(n−k)ln⁡(1−p)\ell(p) = k \ln p + (n-k) \ln(1-p)

一阶条件给出 MLE：

p^MLE=kn=xˉ\hat{p}_{\mathrm{MLE}} = \frac{k}{n} = \bar{x}

二阶导数给出观测 Fisher 信息：

−d2ℓdp2=kp2+n−k(1−p)2-\frac{d^2\ell}{dp^2} = \frac{k}{p^2} + \frac{n-k}{(1-p)^2}

取期望即得期望 Fisher 信息：

I(p)=np(1−p)=npqI(p) = \frac{n}{p(1-p)} = \frac{n}{pq}

因此 MLE 的渐近方差为 Var⁡(p^)≈p(1−p)n\operatorname{Var}(\hat{p}) \approx \frac{p(1-p)}{n}——这正是基础统计教科书中样本比例方差公式的理论来源，也是构造 Wald 置信区间和假设检验的基石。

贝叶斯推断与共轭先验

在贝叶斯统计中，伯努利似然最重要的性质是其简洁的共轭先验结构。取先验：

p∼Beta(α,β),π(p)∝pα−1(1−p)β−1p \sim \mathrm{Beta}(\alpha, \beta), \quad \pi(p) \propto p^{\alpha-1} (1-p)^{\beta-1}

则在观测到 kk 次成功和 n−kn-k 次失败后，后验分布维持 Beta 形式：

p∣data∼Beta(α+k,β+n−k)p \mid \text{data} \sim \mathrm{Beta}(\alpha + k, \beta + n - k)

这一更新规则揭示了贝叶斯学习的本质：先验超参数 (α,β)(\alpha, \beta) 等价于"伪观测"（α−1\alpha-1 次先验成功和 β−1\beta-1 次先验失败），真实数据以线性加法的方式并入，形成后验信念。后验均值：

E[p∣data]=α+kα+β+n\mathbb{E}[p \mid \text{data}] = \frac{\alpha + k}{\alpha + \beta + n}

可在先验均值 αα+β\frac{\alpha}{\alpha+\beta} 和样本均值 kn\frac{k}{n} 之间取加权折衷，权重由样本量 nn 和先验精度 α+β\alpha+\beta 的相对大小决定。当样本量趋于无穷时，后验收缩至 MLE，先验影响消失殆尽——这体现了贝叶斯方法的渐近客观性。Beta-Bernoulli 共轭对因其代数简洁性和直观解释力，历来是贝叶斯统计教学中最先引入的案例。

应用场景

伯努利分布虽简单，却遍布统计应用的核心：

  1. 分类模型：逻辑回归直接对条件伯努利参数 p=P(Y=1∣x)p = P(Y=1 \mid \mathbf{x}) 建模，logit 链接 ln⁡p1−p=β⊤x\ln\frac{p}{1-p} = \boldsymbol{\beta}^\top \mathbf{x} 将线性预测映射到概率尺度。深度学习中二元分类的交叉熵损失函数本质上就是负伯努利对数似然。
  2. A/B 测试：用户点击、转化、留存——每个用户的一次行为均视为伯努利观测。实验组与控制组的比例差异检验（双样本 zz 检验、Fisher 精确检验）完全建立在伯努利-二项框架之上。
  3. 质量控制：生产线单件产品合格与否是伯努利试验，不合格品率 pp 的控制图（pp-图、np-图）用于实时监测过程漂移。
  4. 医学诊断与流行病学：检测阳性/阴性、患病/健康、治疗有效/无效——灵敏度与特异度的估计本质上是对条件伯努利概率的推断。
  5. 随机图与网络：Erdős--Rényi 随机图 G(n,p)G(n, p) 中，每对节点间连边的存在是独立的 Bernoulli(p)\mathrm{Bernoulli}(p) 试验。网络的连通性、巨分支涌现阈值 pc=1/np_c = 1/n 等相变现象均由这单一的 pp 决定。
  6. 蒙特卡洛模拟：伯努利随机数是离散事件模拟的原子——从随机游走到分支过程，从渗透模型到马尔可夫链蒙特卡洛的接受-拒绝步骤，均以伯努利变量为基本构造单元。

历史注记

雅各布·伯努利在《猜度术》第四部分中提出了后世称颂的伯努利大数定律——独立重复试验中成功频率依概率收敛于 pp。他将此定理命名为"黄金定理"（aureum theorema），并视其为一生最重要的数学贡献。耐人寻味的是，伯努利本人未曾使用"伯努利分布"这一名称；该术语是十九至二十世纪统计学渐趋成熟的过程中逐渐固定下来的命名惯例，用以纪念他首次将二元随机现象纳入严格的数学分析框架。从《猜度术》付梓至今逾三百年，伯努利分布依然岿然矗立于概率论与统计学的入口处：它简单到仅凭一个参数即可穷尽所有可能，却又深刻到足以支撑频率学派的最大似然理论、贝叶斯学派的共轭推断，乃至现代机器学习的分类损失函数。它是通往概率思维的第一道门，也是每个统计学者永远无法绕开的起点。