KNOWECON WIKI

ARTICLE

信息熵

信息熵（Information Entropy），又称香农熵（Shannon Entropy），是信息论中最基础的核心概念，由克劳德·香农（Claude Shannon）于1948年在其开创性论文《通信的数学理论》中首次提出。信息熵用于度量一个随机变量的不确定性或信息含量：随机变量的不确定性越大，其熵值越高；反之，确定性越高的系统熵值越低。从更直观的角度看，

浏览 3 更新 2025-11-08

信息熵（Information Entropy），又称香农熵（Shannon Entropy），是信息论中最基础的核心概念，由克劳德·香农（Claude Shannon）于1948年在其开创性论文《通信的数学理论》中首次提出。信息熵用于度量一个随机变量的不确定性或信息含量：随机变量的不确定性越大，其熵值越高；反之，确定性越高的系统熵值越低。从更直观的角度看，熵衡量的是"描述一个随机事件平均所需的最少比特数"，它既是信息量的量化标尺，也是通信编码效率的理论极限。

1. 数学定义

设 XX 为一个离散随机变量，其取值集合为 X={x1,x2,…,xn}\mathcal{X} = \{x_1, x_2, \dots, x_n\}，对应的概率分布为 p(xi)=Pr⁡(X=xi)p(x_i) = \Pr(X = x_i)。离散信息熵 H(X)H(X) 定义为：

H(X)=−∑i=1np(xi)log⁡2p(xi)H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)

当对数的底数为 2 时，熵的单位为比特（bit）；底数为自然对数 ee 时单位为纳特（nat）；底数为 10 时单位为哈特（hart）。比特是最常用的单位，因为它在二进制编码中具有自然对应关系。

对于连续随机变量，熵的定义推广为微分熵（Differential Entropy）：

h(X)=−∫Xf(x)log⁡f(x) dxh(X) = -\int_{\mathcal{X}} f(x) \log f(x) \, dx

其中 f(x)f(x) 为概率密度函数。需要注意的是，微分熵与离散熵具有不同的数学性质——微分熵可以为负，且其值依赖于坐标系的选取，因此在解释时需要格外谨慎。

2. 基本性质

信息熵具有一系列刻画不确定性本质的重要数学性质：

  • 非负性：对于离散随机变量，H(X)≥0H(X) \ge 0，等号成立当且仅当 XX 是确定性变量（即某一事件概率为 1，其余为 0）。这一点符合直觉：确定性事件不包含任何不确定性，因此信息量为零。
  • 对称性：熵的值仅取决于概率分布的数值，而与事件的具体标签无关。换言之，将概率分布中的事件重新排序不会改变熵值：H(p1,p2,…,pn)=H(pσ(1),pσ(2),…,pσ(n))H(p_1, p_2, \dots, p_n) = H(p_{\sigma(1)}, p_{\sigma(2)}, \dots, p_{\sigma(n)}) 对任意排列 σ\sigma 成立。
  • 最大熵原理：在给定支持集大小 nn 的条件下，当分布为均匀分布 pi=1/np_i = 1/n 时熵达到最大值 Hmax⁡=log⁡nH_{\max} = \log n。均匀分布意味着最大的不确定性——没有任何一种结果比其他结果更可能。
  • 可加性：若随机变量 XX 与 YY 相互独立，则联合熵满足 H(X,Y)=H(X)+H(Y)H(X, Y) = H(X) + H(Y)。这一定理体现了熵作为信息度量的可分解性：独立事件的总不确定性等于各自不确定性之和。
  • 凹性：H(p)H(p) 是概率分布 pp 的凹函数。这一性质在优化问题中具有关键作用，保证了通过拉格朗日乘数法求解最大熵分布时可以得到全局最优解。

3. 信息熵与编码理论

信息熵与数据压缩之间存在深刻的内在联系，这种联系通过香农第一定理（即信源编码定理）得到精确刻画。

3.1 信源编码定理

香农第一定理指出：对于离散无记忆信源，每个符号平均所需的最小编码长度不能低于信源的熵 H(X)H(X)，且存在编码方案使平均码长任意接近 H(X)H(X)。信息熵是无损压缩的理论极限。

3.2 最优编码示例

考虑一个简单的信源：事件 AA 概率为 1/2，事件 BB 概率为 1/4，事件 CC 和 DD 概率各为 1/8。该信源的熵为：

H=−12log⁡212−14log⁡214−18log⁡218−18log⁡218=1.75 bitH = -\frac{1}{2}\log_2\frac{1}{2} - \frac{1}{4}\log_2\frac{1}{4} - \frac{1}{8}\log_2\frac{1}{8} - \frac{1}{8}\log_2\frac{1}{8} = 1.75 \text{ bit}

使用霍夫曼编码（Huffman Coding）可以得到如下最优编码：A→0A \to 0，B→10B \to 10，C→110C \to 110，D→111D \to 111，平均码长为 1×1/2+2×1/4+3×1/8+3×1/8=1.751 \times 1/2 + 2 \times 1/4 + 3 \times 1/8 + 3 \times 1/8 = 1.75 bit，恰好等于熵值。这一编码方案直观地展示了熵作为理论极限的含义——它并非一个抽象的上界，而是可以通过精心设计的编码方案实际达到的压缩效率。

4. 条件熵与联合熵

信息熵的概念可以自然地推广到多变量情形。

4.1 联合熵

两个随机变量的联合熵（Joint Entropy）定义为：

H(X,Y)=−∑x∈X∑y∈Yp(x,y)log⁡p(x,y)H(X, Y) = -\sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p(x, y) \log p(x, y)

联合熵衡量的是同时观测两个随机变量所需的总信息量。

4.2 条件熵

条件熵（Conditional Entropy）H(Y∣X)H(Y|X) 表示在已知 XX 的条件下，YY 剩余的（平均）不确定性：

H(Y∣X)=∑x∈Xp(x)H(Y∣X=x)=−∑x,yp(x,y)log⁡p(y∣x)H(Y|X) = \sum_{x \in \mathcal{X}} p(x) H(Y|X = x) = -\sum_{x,y} p(x,y) \log p(y|x)

条件熵满足链式法则：H(X,Y)=H(X)+H(Y∣X)=H(Y)+H(X∣Y)H(X, Y) = H(X) + H(Y|X) = H(Y) + H(X|Y)。这一关系说明，联合不确定性总可以分解为"先知道一个变量的不确定性，再加上知晓该变量后另一变量剩余的不确定性"。

4.3 互信息

互信息（Mutual Information）I(X;Y)I(X; Y) 衡量两个变量共享的信息量：

I(X;Y)=H(X)+H(Y)−H(X,Y)=H(X)−H(X∣Y)I(X; Y) = H(X) + H(Y) - H(X, Y) = H(X) - H(X|Y)

互信息是对称的（I(X;Y)=I(Y;X)I(X; Y) = I(Y; X)），且等于 0 当且仅当 XX 与 YY 相互独立。在特征选择、聚类分析和因果推断等领域，互信息是衡量变量间关联程度的核心工具，其优势在于能够捕获非线性依赖关系——这是皮尔逊相关系数等线性度量无法做到的。

5. 最大熵原理

最大熵原理是信息熵在统计推断中的重要应用，由埃德温·杰恩斯（Edwin T. Jaynes）在其《概率论沉思录》中系统阐述。该原理的核心思想是：在仅掌握部分约束条件（如均值、方差等统计量）的情况下，应当选择满足这些约束且熵值最大的概率分布作为最优推断——因为这一分布在不引入任何额外假设的前提下最大化地保持了不确定性，避免了对数据的偏见操控。

以常见场景为例：仅给定均值时最大熵分布为指数分布；给定均值与方差时最大熵分布为正态分布；仅给定支持集时最大熵分布为均匀分布。

最大熵原理在自然语言处理、谱密度估计和生态学模型中有着广泛的应用。例如，最大熵分类器（MaxEnt Classifier）直接将这一原理应用于文本分类任务，在多项自然语言处理基准测试上展现了令人瞩目的性能。此外，最大熵方法还被用于玻尔兹曼机和统计力学中——统计物理中的玻尔兹曼熵公式 S=kln⁡ΩS = k \ln \Omega 与信息熵在数学形式上完全同构，揭示了两大学科在深层结构上的统一性。

6. 信息熵与其他学科的联系

6.1 统计力学

玻尔兹曼熵 S=kBln⁡WS = k_B \ln W 与信息熵在形式上完全一致，两者都描述了系统的"不确定性"。热力学第二定律——孤立系统熵永不减少——在信息论中对应着数据处理不等式。这一跨学科的一致性表明，熵的概念触及了自然世界的深层结构。

6.2 机器学习

在机器学习中，信息熵是决策树算法的核心度量：ID3和C4.5算法使用信息增益选择最优分割特征。在深度学习中，交叉熵损失（Cross-Entropy Loss）直接利用了熵的概念。此外，变分自编码器（VAE）和生成对抗网络（GAN）中的ELBO推导也离不开对熵的运用。

6.3 量子信息

冯·诺依曼熵（Von Neumann Entropy）将信息熵的概念推广至量子力学领域。对于一个由密度矩阵 ρ\rho 描述的量子系统，冯·诺依曼熵定义为 S(ρ)=−Tr⁡(ρlog⁡ρ)S(\rho) = -\operatorname{Tr}(\rho \log \rho)。它在量子纠缠度量、量子通信和量子纠错中扮演着类似经典信息熵的角色。

7. 局限性

信息熵虽然是信息论的核心支柱，但在实际应用中存在若干局限性：

  • 忽略结构信息：标准熵仅考虑概率分布，而不关心事件之间的语义关联或顺序结构。在处理文本、时间序列等具有内在结构的数据时，单纯的熵值可能无法充分刻画信息的真实组织方式。为此，块熵（Block Entropy）和置换熵（Permutation Entropy）等扩展概念被提出，以捕获序列中的模式信息。
  • 对概率估计敏感：熵的计算依赖于对概率分布的准确估计。当样本量较小时，经验分布与真实分布之间的偏差会导致熵的估计出现系统性偏误。米勒-马德修正（Miller-Madow Correction）和贝叶斯估计等方法被用于缓解小样本条件下的熵估计偏差。
  • 不适用于不确定性感知决策：在部分决策场景中，决策者不仅关心不确定性的大小，还关心不确定性可能带来的后果（如损失函数的形状）。此时，仅凭熵值不足以指导最优决策，需要结合期望效用框架做出更精细的判断。

总体而言，信息熵以其简洁的数学形式、深刻的物理意涵和广泛的应用场景，成为连接数学、物理学、计算机科学和统计学的跨学科支柱概念。从香农奠基信息论到当代大语言模型的训练，信息熵始终是理解信息本质、度量不确定性和设计高效算法的基础工具。它的诞生不仅重塑了通信工程的面貌，更深刻影响了人类对"信息"这一概念自身的哲学理解。