# 凸函数 (Convex Function)
凸函数 (Convex Function) 是{{{数学分析}}}、{{{优化理论}}}、{{{统计学}}}和{{{经济学}}}中的一个基本概念。直观上，一个凸函数的图形是“碗状”的，即函数图形上任意两点之间的{{{弦}}}（连接这两点的线段）都位于这两点之间函数图形的上方或与之重合。
这个性质使得凸函数在{{{优化}}}问题中具有极其重要的地位，因为对于凸函数而言，任何一个{{{局部最小值}}} (local minimum) 都必然是{{{全局最小值}}} (global minimum)。
## 核心定义与几何直观
一个定义在某个{{{凸集}}}（例如，一个区间或整个实数轴 $\mathbb{R}$） $C$ 上的实值{{{函数}}} $f: C \to \mathbb{R}$ 被称为 凸函数，如果对于 $C$ 中的任意两点 $x_1$ 和 $x_2$，以及对于任意 $\lambda \in [0, 1]$，以下不等式恒成立：
$$ f(\lambda x_1 + (1-\lambda)x_2) \leq \lambda f(x_1) + (1-\lambda) f(x_2) $$
定义的解读:
* 点 $\lambda x_1 + (1-\lambda)x_2$：当 $\lambda$ 从 0 变化到 1 时，这个表达式表示了连接 $x_1$ 和 $x_2$ 的线段上的所有点。 * 函数值 $f(\lambda x_1 + (1-\lambda)x_2)$：这是位于 $x_1$ 和 $x_2$ 之间某一点的函数图形上的点的高度。 * 值 $\lambda f(x_1) + (1-\lambda) f(x_2)$：这个表达式表示了连接点 $(x_1, f(x_1))$ 和 $(x_2, f(x_2))$ 的弦上对应点的高度。
因此，这个不等式的几何意义是：函数图形本身（左侧）总是位于连接图形上任意两点的弦（右侧）的下方或与之重合。
如果对于任意不同的 $x_1, x_2$ 和任意 $\lambda \in (0, 1)$，上述不等式中的“小于等于”符号($\leq$)可以被严格的“小于”符号($<$)所替代，那么该函数被称为 严格凸函数 (Strictly Convex Function)。例如，$f(x) = x^2$ 是严格凸函数，而 $f(x) = x$ 是凸函数但非严格凸。
## 判定凸性的条件
在实践中，除了使用定义来判断，我们通常使用{{{导数}}}来判定一个函数是否为凸函数。
一. 一阶条件 (First-Order Condition) 对于一个在开区间上可微的函数 $f$，它是凸函数的充要条件是，其函数图形总是位于其任意一点的{{{切线}}}之上。用数学语言表达为，对于定义域内的任意两点 $x$ 和 $y$： $$ f(y) \geq f(x) + f'(x)(y-x) $$ 这里的 $f'(x)$ 是函数 $f$ 在点 $x$ 的一阶{{{导数}}}。这个不等式在{{{梯度下降}}}等优化算法的收敛性分析中扮演着核心角色。
二. 二阶条件 (Second-Order Condition) 对于一个在开区间上二阶可微的函数 $f$，判断其凸性变得非常简单： * 单变量函数：$f$ 是凸函数当且仅当其二阶导数在整个定义域上非负，即 $f''(x) \geq 0$。如果 $f''(x) > 0$，则 $f$ 是严格凸函数。 * 多变量函数：对于多元函数 $f: \mathbb{R}^n \to \mathbb{R}$，它是凸函数的充要条件是其 {{{Hessian矩阵}}}（由所有二阶偏导数构成的矩阵）在整个定义域上是{{{半正定矩阵}}} (Positive Semi-definite)。如果Hessian矩阵是{{{正定矩阵}}} (Positive Definite)，则 $f$ 是严格凸函数。
三. 上境图 (Epigraph) 一个函数 $f$ 的 上境图 (epigraph) 是位于其图形上方或之上的点的集合，即 $\text{epi}(f) = \{(x, y) | x \in C, y \geq f(x)\}$。一个函数是凸函数的充要条件是其上境图是一个{{{凸集}}}。这是连接函数凸性与集合凸性的桥梁。
## 凸函数与凹函数
与凸函数相对的概念是 凹函数 (Concave Function)。一个函数 $f$ 被称为凹函数，如果 $-f$ 是一个凸函数。等价地，其定义不等式为： $$ f(\lambda x_1 + (1-\lambda)x_2) \geq \lambda f(x_1) + (1-\lambda) f(x_2) $$ 几何上，凹函数的弦位于函数图形的下方或与之重合。所有用于判断凸函数的条件（如一阶和二阶导数条件）都可以相应地修改来判断凹函数（例如，二阶可微函数是凹函数当且仅当 $f''(x) \leq 0$）。
一个{{{线性函数}}}，如 $f(x)=ax+b$，既是凸函数也是凹函数。
## 凸函数的重要性质与应用
凸函数之所以重要，源于其优美的数学性质，这些性质在理论和应用中都至关重要。
* 优化理论：在{{{凸优化}}}中，目标函数和约束集都是凸的。这类问题的美妙之处在于： 1. 任何局部最优解都是全局最优解。 2. 存在高效且可靠的算法（如{{{内点法}}}）来寻找这个最优解。 这在{{{机器学习}}}、{{{运筹学}}}、{{{控制理论}}}等领域有广泛应用。例如，{{{最小二乘法}}}就是一个典型的凸优化问题。
* {{{詹森不等式}}} (Jensen's Inequality)：这是凸函数定义在{{{概率论}}}中的推广。如果 $f$ 是一个凸函数， $X$ 是一个{{{随机变量}}}，那么： $$ E[f(X)] \geq f(E[X]) $$ 其中 $E[\cdot]$ 代表{{{期望值}}}。这个不等式是许多重要不等式的基础。在{{{金融学}}}中，如果一个投资者的{{{效用函数}}} $U$ 是凹函数（代表{{{风险厌恶}}}），那么对于一个不确定的收益 $X$，$E[U(X)] < U(E[X])$，这意味着投资者更偏好一个确定的收益 $E[X]$，而不是一个有相同期望值的随机收益 $X$。
* 经济学： * {{{成本函数}}} (Cost Function)：在生产理论中，总成本函数通常被假设为产量的凸函数，这反映了{{{边际成本递增}}}的现象。 * {{{效用函数}}} (Utility Function)：如上所述，凹的效用函数是描述风险厌恶的标准模型。
## 保持凸性的运算
在构建复杂模型时，了解哪些运算可以保持函数的凸性非常有用。
1. 非负加权和：如果 $f_1, f_2, \dots, f_k$ 都是凸函数，且 $w_1, w_2, \dots, w_k \geq 0$ 是非负权重，那么它们的加权和 $f(x) = \sum_{i=1}^k w_i f_i(x)$ 也是凸函数。
2. 与仿射函数的复合：如果 $f$ 是凸函数，$A$ 是一个矩阵，$b$ 是一个向量，那么函数 $g(x) = f(Ax+b)$ 也是凸函数。
3. 逐点最大化：如果 $f_1, f_2$ 是凸函数，那么函数 $f(x) = \max\{f_1(x), f_2(x)\}$ 也是凸函数。这个性质可以推广到任意多个函数的逐点最大化。
## 示例
* $f(x) = ax^2+bx+c$，其中 $a \geq 0$。这是一个二次函数，当二次项系数非负时为凸函数。 * $f(x) = e^{ax}$ 对于任意实数 $a$ 都是凸函数。 * $f(x) = |x|$ 是凸函数，但它在 $x=0$ 点不可微。 * $f(x) = -\log(x)$ 在其定义域 $(0, \infty)$ 上是严格凸函数。 * 范数函数（如{{{欧几里得范数}}}）都是凸函数。