吉布斯不等式

吉布斯不等式（Gibbs' inequality）是信息论与概率论中的一个基本不等式，由美国物理学家约西亚·威拉德·吉布斯（Josiah Willard Gibbs）于十九世纪末提出。该不等式刻画了两个离散概率分布之间相对熵（即KL散度，Kullback–Leibler divergence）的非负性，为信息论诸多核心结论——包括熵的最大化原理、互信息的非负性以及数据处理不等式——奠定了严格的数学基础。

定义

设 $P = (p_1, p_2, \dots, p_n)$ 和 $Q = (q_1, q_2, \dots, q_n)$ 是定义在同一有限样本空间上的两个离散概率分布，即对所有 $i$ 满足 $p_i \geq 0$ 、 $q_i \geq 0$ ，且 $\sum_i p_i = \sum_i q_i = 1$ 。吉布斯不等式断言：

D_{\mathrm{KL}}(P \parallel Q) = \sum_{i=1}^{n} p_i \ln\frac{p_i}{q_i} \geq 0,

其中等号成立当且仅当对所有 $i$ 有 $p_i = q_i$ 。这里采用标准约定 $0 \ln 0 = 0$ ，并且若存在某个 $i$ 使得 $q_i = 0$ 而 $p_i > 0$ ，则右侧定义为 $+\infty$ 。

从直观上理解，该不等式表明用分布 $Q$ 来近似分布 $P$ 时总会产生非负的信息损失，损失量恰好等于KL散度；只有当两个分布完全一致时，损失才为零。这一性质使得KL散度成为衡量分布差异的自然度量，广泛应用于统计模型选择、假设检验和机器学习中的模型蒸馏等任务中。

证明

证明基于自然对数的一个重要性质：对任意 $x > 0$ 有 $\ln x \leq x - 1$ ，等号当且仅当 $x = 1$ 时成立。将 $x = q_i / p_i$ 代入可得：

\begin{aligned} -D_{\mathrm{KL}}(P \parallel Q) &= \sum_i p_i \ln\frac{q_i}{p_i} \\ &\leq \sum_i p_i \left(\frac{q_i}{p_i} - 1\right) \\ &= \sum_i (q_i - p_i) = 0. \end{aligned}

因此 $D_{\mathrm{KL}}(P \parallel Q) \geq 0$ 。等号成立的条件是 $\frac{q_i}{p_i} = 1$ 对所有 $i$ 成立，即 $p_i = q_i$ 对每个 $i$ 均成立，从而分布 $P$ 与 $Q$ 完全相同。这一证明简洁而优美，仅依赖初等微积分中的对数不等式，便揭示了两个分布之间差异的基本度量结构。该证明思路还可推广至其他形式的散度度量，如Rényi散度和 $f$ -散度族。

变体与推广

吉布斯不等式有多种重要的推广形式。

连续概率分布情形：对于定义在连续样本空间上的概率密度函数 $p(x)$ 和 $q(x)$ ，KL散度定义为 $D_{\mathrm{KL}}(p \parallel q) = \int p(x) \ln\frac{p(x)}{q(x)}\,dx$ 。在适当的正则条件（如可测性和绝对连续性）下， $D_{\mathrm{KL}}(p \parallel q) \geq 0$ 仍然成立，等号成立当且仅当 $p(x) = q(x)$ 几乎处处成立。

测度论表述：对于任意两个测度 $\mu$ 和 $\nu$ ，若 $\mu \ll \nu$ （即 $\mu$ 关于 $\nu$ 绝对连续），则相对熵 $D_{\mathrm{KL}}(\mu \parallel \nu) \geq 0$ ，等号成立当且仅当 $\mu = \nu$ 几乎处处成立。

与Jensen不等式的关系：吉布斯不等式可以看作是凸函数Jensen不等式的直接推论。考虑凸函数 $f(x) = x\ln x$ （在 $[0, \infty)$ 上为凸），应用Jensen不等式即可导出相同结论。这一视角揭示了吉布斯不等式的深层数学结构。

在信息论中的应用

吉布斯不等式是信息论大厦的基石，其应用遍布该学科的各个分支。

第一，熵的上界与最大熵原理：设 $Q$ 为样本空间上的均匀分布，即 $q_i = 1/n$ ，则 $D_{\mathrm{KL}}(P \parallel Q) \geq 0$ 直接蕴含 $H(P) \leq \ln n$ ，其中 $H(P) = -\sum_i p_i \ln p_i$ 为香农熵。这意味着在所有离散概率分布中，均匀分布具有最大的熵，这一结论在统计力学和机器学习中具有重要应用。

第二，互信息的非负性：互信息 $I(X; Y)$ 可表示为联合分布 $P_{XY}$ 与边缘分布乘积 $P_X \otimes P_Y$ 之间的KL散度，即 $I(X; Y) = D_{\mathrm{KL}}(P_{XY} \parallel P_X \otimes P_Y)$ 。由吉布斯不等式知 $I(X; Y) \geq 0$ ，等号成立当且仅当 $X$ 与 $Y$ 相互独立。这一性质是信道编码定理和率失真理论的基础。

第三，数据处理不等式：在马尔可夫链 $X \to Y \to Z$ 下，有 $I(X; Y) \geq I(X; Z)$ ，其证明依赖于KL散度的非负性与条件互信息的链式法则。该不等式说明任何对数据的处理操作都无法增加其中包含的有效信息，这是信息安全与特征选择中的基本原理。

第四，最大似然估计的渐近性质：在统计推断中，KL散度的最小化等价于最大似然估计，吉布斯不等式保证了该优化问题的合理性和全局最优解的存在性。它是期望最大化（EM）算法和变分贝叶斯方法的理论基础。

与其他不等式的关系

吉布斯不等式在数学结构中与许多其他经典不等式共享深刻的联系。除了与Jensen不等式的直接关联外，它还与下列不等式密切相关：

琴生不等式：如上所述，通过凸函数 $x\ln x$ 的琴生不等式可直接导出吉布斯不等式，揭示了二者之间的深层联系。
对数不等式：对任意 $a, b > 0$ 有 $a\ln(a/b) \geq a - b$ ，这是证明过程中的关键中间步骤，本身也是一个常用的概率不等式。
霍夫丁引理：在集中不等式的推导中，KL散度常作为大偏差速率函数出现，与霍夫丁不等式和桑诺夫定理有着密切联系。
费舍尔信息矩阵：在信息几何中，KL散度的海森矩阵给出了费舍尔信息矩阵，从而将吉布斯不等式与统计估计的Cramér–Rao下界联系起来。

历史与影响

约西亚·威拉德·吉布斯在十九世纪末的热力学研究中首次提出了该不等式的雏形。吉布斯在《统计力学的基本原理》一书中运用类似的不等式论证了热力学熵的极值性质，这为后来的信息熵概念奠定了基础。

二十世纪中期，随着克劳德·香农创立信息论，该不等式被克劳德·香农、所罗门·库尔巴克和理查德·莱布勒等人重新发现并系统化。库尔巴克和莱布勒于1951年发表的经典论文《论信息与充分性》正式将KL散度引入统计学，使其成为信息论与统计学之间的重要桥梁。

如今，吉布斯不等式在机器学习（如变分推断、期望最大化算法、生成对抗网络）、自然语言处理（如主题模型、机器翻译评估）、计算生物学（如序列比对、系统发育分析）和量子信息理论（如量子相对熵）中均有广泛而深入的应用。它不仅是理论推导的关键工具，也是连接信息论、统计学与机器学习等多个学科的核心纽带。

参考文献

Cover, T. M., \& Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.
Kullback, S., \& Leibler, R. A. (1951). "On Information and Sufficiency". The Annals of Mathematical Statistics, 22(1), 79–86.
Gibbs, J. W. (1902). Elementary Principles in Statistical Mechanics. Charles Scribner's Sons.
Shannon, C. E. (1948). "A Mathematical Theory of Communication". Bell System Technical Journal, 27(3), 379–423.

返回百科索引