优化问题

优化问题 (Optimization Problem)

优化问题 (Optimization Problem)，在数学、运筹学和计算机科学等领域，是指从所有可行解的集合中，系统地选择能使某个特定目标函数达到最优值（最大值或最小值）的解的过程。任何涉及"最佳"、"最快"、"最低成本"或"最高收益"的决策问题，都可被建模为一个优化问题。它构成了现代决策科学、工程设计和机器学习等众多领域的核心。

三个核心要素

一个形式化的优化问题由三个基本部分组成：

(1) 决策变量 (Decision Variables)——可控制或改变的量，通常记为向量 $x = (x_1, x_2, \dots, x_n)$。求解优化问题就是要找到这些变量的最优取值。例如在投资组合问题中，决策变量是分配给不同资产的资金比例。

(2) 目标函数 (Objective Function)——关于决策变量的函数 $f(x)$，需要最大化或最小化。例如生产问题中，目标函数可以是利润（最大化）或成本（最小化）。最大化 $\max f(x)$ 等价于 $\min -f(x)$，通常以最小化作为标准形式。

(3) 约束条件 (Constraints)——决策变量必须满足的等式或不等式，定义了可行解的范围，代表现实中的资源、预算或物理限制。所有满足约束的 $x$ 的集合称为可行集（Feasible Set）。在可行集中使 $f(x)$ 最小的点 $x^*$ 称为最优解，$f(x^*)$ 称为最优值。

数学范式

标准优化问题可表述为：

其中 $x \in \mathbb{R}^n$ 为决策变量向量，$g_i$ 为不等式约束，$h_j$ 为等式约束。

分类

根据约束的有无，分为无约束优化和约束优化。根据变量类型，分为连续优化（实数变量）和离散优化（整数变量，如整数规划、组合优化中的旅行商问题）。根据函数性质，分为线性规划（LP，目标与约束均为线性，算法成熟如单纯形法）、非线性规划（NLP，求解难度大）、凸优化（局部最优即全局最优，性质优良）和二次规划（QP，目标二次、约束线性）等。

关键概念

可行解是满足所有约束的决策变量值。局部最优解在邻近可行解中目标最优；全局最优解在整个可行集中最优。对于非凸问题，算法（如梯度下降法）通常只能收敛到局部最优解，这是非线性优化的核心挑战，常需借助启发式算法或全局优化方法处理。此外，拉格朗日对偶性为处理约束优化问题提供了重要理论工具。

应用领域

优化应用广泛：经济金融（投资组合优化、风险管理）；工程学（结构设计、最优控制）；运筹物流（供应链管理、车辆路径规划、生产调度）；机器学习（训练神经网络本质是极小化损失函数，支持向量机最大化分类间隔，最大似然估计，特征选择等均涉及优化）。