KNOWECON WIKI

ARTICLE

通信理论

通信理论 (Communication Theory) 通信理论 (Communication Theory)，亦称信息论 (Information Theory)，是研究信息量化、存储与传输的数学理论体系。该理论由克劳德·香农 (Claude Shannon) 在1948年的论文《通信的数学理论》中奠基，旨在回答两个根本问题：信息的极限压缩率是多少？在噪声

浏览 0 更新 2025-10-26

通信理论 (Communication Theory)

通信理论 (Communication Theory)，亦称信息论 (Information Theory)，是研究信息量化、存储与传输的数学理论体系。该理论由克劳德·香农 (Claude Shannon) 在1948年的论文《通信的数学理论》中奠基，旨在回答两个根本问题：信息的极限压缩率是多少？在噪声信道上可靠通信的最大速率是多少？通信理论不仅奠定了数字通信的工程基础，更深刻影响了统计学、经济学和密码学等多个领域。

信息熵与信息度量

通信理论的核心概念是信息熵 (Entropy)。设离散随机变量 X X 取值于符号集 X \mathcal{X} ，概率分布为 p(x) p(x) ，其信息熵定义为：

H(X)=−∑x∈Xp(x)log⁡2p(x)H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x)

信息熵的单位是比特 (bit)，度量了表示 X X 所需的平均最短编码长度。例如，一枚公平硬币的熵为 H=log⁡22=1 H = \log_2 2 = 1 比特，而始终正面朝上的硬币熵为 0 比特。

互信息 (Mutual Information) 是通信理论中最重要的量：

I(X;Y)=H(X)−H(X∣Y)=∑x,yp(x,y)log⁡2p(x,y)p(x)p(y)I(X; Y) = H(X) - H(X \mid Y) = \sum_{x, y} p(x, y) \log_2 \frac{p(x, y)}{p(x)p(y)}

互信息刻画了观测 Y Y 后 X X 不确定性减少的程度，等价于两个随机变量共享的信息量。当 X X 和 Y Y 独立时互信息为零；当 Y Y 完全决定 X X 时互信息等于 H(X) H(X) 。互信息是信道容量定义的核心。

信源编码与数据压缩

信源编码定理 (Source Coding Theorem) 指出：对于熵为 H H 的离散无记忆信源，当编码率 R>H R > H 时存在无损编码方案使平均码长任意接近 H H ；当 R<H R < H 时无损压缩不可能实现。这一结论为数据压缩设立了理论极限。

霍夫曼编码 (Huffman Coding) 和算术编码 (Arithmetic Coding) 是逼近熵极限的经典无损压缩算法。率失真理论 (Rate-Distortion Theory) 将进一步该框架推广到有损情形：给定最大允许失真 D D ，可求得最小编码率 R(D) R(D) ，这一函数称为率失真函数，是JPEG和MP3等有损压缩标准的设计依据。

信道容量与信道编码定理

信道的容量 (Capacity) 是输入分布上互信息的最大值：

C=max⁡p(x)I(X;Y)C = \max_{p(x)} I(X; Y)

香农信道编码定理 (Channel Coding Theorem) 是通信理论最核心的结论：只要传输速率 R<C R < C ，就存在编码方案使译码错误概率任意小；若 R>C R > C ，则错误概率必然大于某个正数。该定理为噪声信道上的可靠通信划定了清晰极限。

对于加性高斯白噪声信道 (AWGN)，信道容量由香农公式给出：

C=Blog⁡2(1+SN)C = B \log_2\left(1 + \frac{S}{N}\right)

其中 B B 为信道带宽，S/N S/N 为信噪比。该公式揭示了带宽与功率的根本折中。

通信理论的跨学科影响

在统计学中，信息论为极大似然估计、EM算法和模型选择准则（如AIC和BIC）提供了统一框架。KL散度作为互信息的基础，是衡量分布差异的核心工具。

在经济学中，理性疏忽 (Rational Inattention) 理论借用香农信息论建模决策者的信息处理约束：有限理性主体如何选择关注哪些信息信号以实现效用最大化。该框架由 Sims (2003) 开创，应用于资产定价和货币政策分析。

在密码学中，香农建立了完善保密性的数学定义，证明一次一密是实现该性质的唯一方案。通信理论还催生了纠错码和量子信息论等前沿领域。

局限与发展前景

经典通信理论假设信源和信道特性已知且平稳，实际系统面临更复杂的挑战。网络信息论 (Network Information Theory) 将香农框架推广至多用户场景，研究广播信道和多址接入信道等拓扑的容量区域。近年来，语义通信 (Semantic Communication) 关注信息含义而非比特层面的精确传输，有望在低信噪比场景下突破经典香农极限的约束。