次梯度

次梯度 (Subgradient)

次梯度是凸分析中的核心概念，是对不可微凸函数之导数概念的推广。对于可微凸函数，梯度提供了函数在某点处的最佳线性逼近；而当函数不可微时（如在绝对值函数 $f(x) = |x|$ 的 $x = 0$ 处），次梯度则刻画了该点处所有可能的支撑超平面的斜率。次梯度方法在最优化理论、机器学习、经济学等领域中有着广泛应用，尤其在处理带不可微项的正则化问题（如 Lasso 回归）时不可或缺。

定义

设 $f: \mathbb{R}^n \to \mathbb{R} \cup \{+\infty\}$ 为一凸函数，$x_0$ 为使 $f(x_0)$ 有限的一点。向量 $g \in \mathbb{R}^n$ 称为 $f$ 在 $x_0$ 处的次梯度，若对任意 $y \in \mathbb{R}^n$ 均有：

其几何含义是：穿过点 $(x_0, f(x_0))$、斜率为 $g$ 的超平面位于函数图像下方，即它是函数的一个支撑超平面。

所有次梯度的集合称为次微分（subdifferential），记作 $\partial f(x_0)$。若 $f$ 在 $x_0$ 处可微，则次微分退化为唯一元素——梯度：$\partial f(x_0) = \{\nabla f(x_0)\}$。若函数在该点不可微，则次微分可能包含多个元素。

常见函数的次微分

绝对值函数 $f(x) = |x|$ 在 $x = 0$ 处不可微。其次微分为：

即 $x = 0$ 处次微分是区间 $[-1, 1]$，其中任意斜率都给出函数的一个支撑线。

ReLU 函数 $f(x) = \max\{0, x\}$ 是神经网络中广泛使用的激活函数。其次微分为：

L1 范数 $f(x) = \|x\|_1 = \sum |x_i|$ 的次微分为各分量次微分的 Cartesian 积。在 $x_i = 0$ 处，第 $i$ 个分量的次微分为 $[-1, 1]$；在 $x_i \neq 0$ 处则为 $\{\text{sgn}(x_i)\}$。

指示函数：对凸集 $C$ 的指示函数 $I_C(x) = 0$（若 $x \in C$）或 $+\infty$（若 $x \notin C$），其次微分 $\partial I_C(x_0)$ 等于 $C$ 在 $x_0$ 处的法锥（normal cone），这在约束优化的对偶理论中至关重要。

次梯度与最优性条件

次梯度在优化中最重要的应用在于给出凸函数的无约束最优性条件：凸函数 $f$ 在 $x^*$ 处取得全局最小值当且仅当

这直接推广了可微情形下的 $\nabla f(x^*) = 0$。对于带约束问题 $\min_{x \in C} f(x)$，最优性条件为：

其中 $N_C(x^*)$ 为 $C$ 在 $x^*$ 处的法锥。此条件是卡罗需-库恩-塔克条件在凸分析中的推广。

次梯度方法 (Subgradient Method)

次梯度方法是求解不可微凸优化问题的迭代算法。给定初始点 $x^{(0)}$，迭代更新为：

其中 $\alpha_k > 0$ 为步长。与经典梯度下降不同，次梯度方法不保证每次迭代都降低目标函数值，因此不能使用线搜索，通常采用递减步长（如 $\alpha_k = a/\sqrt{k}$）以保证收敛。

Lasso 回归（在最小二乘损失中加入 L1 正则项 $\lambda \|\beta\|_1$）是典型应用。由于 L1 范数在 $\beta_j = 0$ 处不可微，次梯度方法自然地处理稀疏解。近端梯度法作为次梯度思想的推广，通过近端算子更高效地处理不可微项，在大规模机器学习中占据核心地位。

在经济学中的意义

次梯度出现在涉及不可微效用函数或不可微生产函数的优化中。例如，具有勒ontief 偏好（完全互补）的消费者的无差异曲线存在折点，边际替代率不唯一，此时最优条件需用次梯度表述：商品束 $x^*$ 是效用最大化解当且仅当价格向量属于效用函数在 $x^*$ 处的次微分。类似地，线性规划的对偶理论中，通过拉格朗日对偶导出的子梯度被用于次梯度上升算法求解对偶问题，在计算一般均衡和政策评估中有实际应用。