詹森不等式 (Jensen's Inequality)
詹森不等式 （Jensen's Inequality）由丹麦数学家约翰·詹森（Johan Jensen）于1906年提出，是数学分析 、概率论 、统计学 、信息论 以及经济学 等众多领域中最基本且应用最广的不等式之一。该不等式的核心思想在于揭示凸函数 （Convex Function）作用于一个积分（或期望）所得的值，与该函数值的积分（或期望）之间的深刻关系：对于一个凸函数而言，其在均值点处的函数值，永远不会超过其函数值的均值。反之，对于凹函数 （Concave Function），不等号方向则相反。这一看似简洁的性质，实际上构成了从风险厌恶 理论到信息熵 性质证明等众多重要结论的数学基石。
定义与表述形式
詹森不等式根据所处理的对象不同有若干等价的表述形式，其中最常见的是概率论形式和有限形式。
概率论形式
设 φ \varphi φ X X X 概率空间 上的随机变量 ，其期望值 E [ X ] E[X] E [ X ]
φ ( E [ X ] ) ≤ E [ φ ( X ) ] \varphi(E[X]) \le E[\varphi(X)] φ ( E [ X ]) ≤ E [ φ ( X )] 这一表述的直观含义是：如果我们先计算随机变量的期望值，再将其代入凸函数求值，其结果一定不大于先对随机变量的每个可能取值计算函数值、再对这些函数值取期望的结果。当 φ \varphi φ φ ( E [ X ] ) ≥ E [ φ ( X ) ] \varphi(E[X]) \ge E[\varphi(X)] φ ( E [ X ]) ≥ E [ φ ( X )]
有限形式
有限形式更直观地体现了詹森不等式的组合学本质。设 φ \varphi φ x 1 , x 2 , … , x n x_1, x_2, \dots, x_n x 1 , x 2 , … , x n λ i ≥ 0 \lambda_i \ge 0 λ i ≥ 0 ∑ i = 1 n λ i = 1 \sum_{i=1}^n \lambda_i = 1 ∑ i = 1 n λ i = 1
φ ( ∑ i = 1 n λ i x i ) ≤ ∑ i = 1 n λ i φ ( x i ) \varphi\left(\sum_{i=1}^n \lambda_i x_i\right) \le \sum_{i=1}^n \lambda_i \varphi(x_i) φ ( i = 1 ∑ n λ i x i ) ≤ i = 1 ∑ n λ i φ ( x i ) 表达式 ∑ λ i x i \sum \lambda_i x_i ∑ λ i x i { x i } \{x_i\} { x i } 凸组合 （Convex Combination），即这些点的加权平均。当所有权重相等（λ i = 1 / n \lambda_i = 1/n λ i = 1/ n
φ ( x 1 + x 2 + ⋯ + x n n ) ≤ φ ( x 1 ) + φ ( x 2 ) + ⋯ + φ ( x n ) n \varphi\left(\frac{x_1 + x_2 + \dots + x_n}{n}\right) \le \frac{\varphi(x_1) + \varphi(x_2) + \dots + \varphi(x_n)}{n} φ ( n x 1 + x 2 + ⋯ + x n ) ≤ n φ ( x 1 ) + φ ( x 2 ) + ⋯ + φ ( x n ) 这种形式直接说明了凸函数的均值不小于均值的函数值，在离散数据的分析中尤为常用。
测度论形式
作为以上两种形式的统一推广，测度论形式的詹森不等式适用于一般的测度空间 。设 ( Ω , F , μ ) (\Omega, \mathcal{F}, \mu) ( Ω , F , μ ) f f f φ \varphi φ
φ ( ∫ Ω f d μ ) ≤ ∫ Ω φ ∘ f d μ \varphi\left(\int_\Omega f \, d\mu\right) \le \int_\Omega \varphi \circ f \, d\mu φ ( ∫ Ω f d μ ) ≤ ∫ Ω φ ∘ f d μ 当 μ \mu μ μ \mu μ
几何直观
理解詹森不等式最直观的方式莫过于几何图形。对于一个凸函数，连接其图像上任意两点的弦 （secant line）必定位于这两点之间的函数图像的上方（或与之重合）。以最简单的两点为例，取 λ ∈ [ 0 , 1 ] \lambda \in [0,1] λ ∈ [ 0 , 1 ]
φ ( λ x 1 + ( 1 − λ ) x 2 ) ≤ λ φ ( x 1 ) + ( 1 − λ ) φ ( x 2 ) \varphi(\lambda x_1 + (1-\lambda)x_2) \le \lambda \varphi(x_1) + (1-\lambda)\varphi(x_2) φ ( λ x 1 + ( 1 − λ ) x 2 ) ≤ λ φ ( x 1 ) + ( 1 − λ ) φ ( x 2 ) 左侧是函数在 x 1 x_1 x 1 x 2 x_2 x 2 ( x 1 , φ ( x 1 ) ) (x_1, \varphi(x_1)) ( x 1 , φ ( x 1 )) ( x 2 , φ ( x 2 ) ) (x_2, \varphi(x_2)) ( x 2 , φ ( x 2 ))
证明思路
詹森不等式的一个简洁而优美的证明利用了凸函数的核心性质——次梯度 （Subgradient）的存在性。对于凸函数 φ \varphi φ x 0 x_0 x 0 支撑线 （Supporting Line），即存在某个斜率 c c c x x x
φ ( x ) ≥ φ ( x 0 ) + c ( x − x 0 ) \varphi(x) \ge \varphi(x_0) + c(x - x_0) φ ( x ) ≥ φ ( x 0 ) + c ( x − x 0 ) 以概率论形式为例，令 x 0 = E [ X ] x_0 = E[X] x 0 = E [ X ] x x x X X X φ ( X ) ≥ φ ( E [ X ] ) + c ( X − E [ X ] ) \varphi(X) \ge \varphi(E[X]) + c(X - E[X]) φ ( X ) ≥ φ ( E [ X ]) + c ( X − E [ X ]) E [ X − E [ X ] ] = 0 E[X - E[X]] = 0 E [ X − E [ X ]] = 0 E [ φ ( X ) ] ≥ φ ( E [ X ] ) E[\varphi(X)] \ge \varphi(E[X]) E [ φ ( X )] ≥ φ ( E [ X ])
等号成立的条件
理解等号成立的条件对于精确使用该不等式至关重要。若 φ \varphi φ 严格凸函数 （Strictly Convex Function），则等号 φ ( E [ X ] ) = E [ φ ( X ) ] \varphi(E[X]) = E[\varphi(X)] φ ( E [ X ]) = E [ φ ( X )] X X X X = E [ X ] X = E[X] X = E [ X ] x 1 = x 2 = ⋯ = x n x_1 = x_2 = \dots = x_n x 1 = x 2 = ⋯ = x n φ \varphi φ X X X
重要应用
詹森不等式的影响力遍及数学和应用的各个分支，以下是几个代表性的例子。
1. 算术-几何平均不等式（AM-GM）
设 x 1 , … , x n > 0 x_1, \dots, x_n > 0 x 1 , … , x n > 0 φ ( x ) = − log x \varphi(x) = -\log x φ ( x ) = − log x φ ′ ′ ( x ) = 1 / x 2 > 0 \varphi''(x) = 1/x^2 > 0 φ ′′ ( x ) = 1/ x 2 > 0
− log ( ∑ x i n ) ≤ − 1 n ∑ log x i = − log ( ∏ x i n ) -\log\left(\frac{\sum x_i}{n}\right) \le -\frac{1}{n}\sum \log x_i = -\log\left(\sqrt[n]{\prod x_i}\right) − log ( n ∑ x i ) ≤ − n 1 ∑ log x i = − log ( n ∏ x i ) 两边同乘 − 1 -1 − 1 log \log log
x 1 + ⋯ + x n n ≥ x 1 ⋯ x n n \frac{x_1 + \dots + x_n}{n} \ge \sqrt[n]{x_1 \cdots x_n} n x 1 + ⋯ + x n ≥ n x 1 ⋯ x n 即算术平均数不小于几何平均数，等号当且仅当所有 x i x_i x i
2. 金融经济学中的风险厌恶
在微观经济学 和金融学 中，风险厌恶者的效用函数 U ( w ) U(w) U ( w ) w w w U ′ ′ ( w ) < 0 U''(w) < 0 U ′′ ( w ) < 0 W W W E [ W ] E[W] E [ W ]
E [ U ( W ) ] ≤ U ( E [ W ] ) E[U(W)] \le U(E[W]) E [ U ( W )] ≤ U ( E [ W ]) 该式表明：参与不确定投资带来的期望效用，低于直接获得等额确定性财富带来的效用。这正是风险厌恶 行为的数学表达。两者的差额 U ( E [ W ] ) − E [ U ( W ) ] U(E[W]) - E[U(W)] U ( E [ W ]) − E [ U ( W )] 风险溢价 （Risk Premium）直接相关，是资本资产定价模型 等理论的重要基础。
3. 信息论中的应用
詹森不等式是信息论中证明吉布斯不等式 （Gibbs' Inequality）和KL散度 （Kullback-Leibler Divergence）非负性的核心工具。由于 − log x -\log x − log x P P P Q Q Q D K L ( P ∥ Q ) ≥ 0 D_{KL}(P \| Q) \ge 0 D K L ( P ∥ Q ) ≥ 0 P = Q P = Q P = Q 交叉熵 、互信息 等核心概念的理论基石。
4. 统计学习与最优化
在机器学习 和最优化理论 中，詹森不等式是期望最大化算法 （EM Algorithm）收敛性证明的关键步骤。该算法通过构造对数似然的下界并逐步优化，而詹森不等式恰好为这一下界的构造提供了严谨的数学保证。此外，凸优化领域中许多关于凸函数极值性质的理论也直接依赖于詹森不等式。
历史与意义
约翰·詹森在1906年发表论文《Sur les fonctions convexes et les inégalités entre les valeurs moyennes》系统阐述了该不等式。自那以后，詹森不等式已成为分析学中最基本的不等式之一，与柯西-施瓦茨不等式 、赫尔德不等式 等并列为数学分析的支柱。它的普适性体现在：无论处理的是有限个离散点、一个随机变量还是一个一般的测度空间，该不等式都能以统一的形式发挥作用，这正是其数学力量的体现。