最优化

最优化（Optimization），亦称数学规划（Mathematical Programming），是在满足约束条件的前提下，从众多可行方案中系统地寻找使特定目标达到最优（最大化或最小化）的数学分支。它是应用数学的核心领域，也是运筹学、经济学、统计学、金融学和工程学的共同基石。

基本要素与数学表述

每个最优化问题均由三个基本要素构成。决策变量 $x = (x_1, \dots, x_n)$ 是待确定的未知量，求解即为找到这些变量的最优取值。目标函数 $f(x)$ 是需要最大化或最小化的目标，例如商业中的利润或成本。约束条件是决策变量必须满足的等式 $h_j(x)=0$ 或不等式 $g_i(x) \le 0$，刻画了资源有限性、物理定律或法规限制。标准最小化问题可严谨表述为：

所有满足全部约束的点构成可行域（Feasible Set）。最大化问题 $\max f(x)$ 可等价转换为 $\min -f(x)$，因此最小化形式具有普遍性。

主要分类

按约束有无分为无约束优化和约束优化。无约束问题的核心是寻找梯度为零的驻点，常用算法包括梯度下降法（一阶迭代）、牛顿法（利用二阶 Hessian 矩阵加速收敛）和共轭梯度法。约束问题则需确保解的可行性，经典方法有拉格朗日乘数法和内点法。按函数线性分为线性规划（单纯形法，研究最透彻、应用最广泛的分支之一）和非线性规划（可能含多个局部最优解，求解难度远超线性情形）。凸优化是极重要的子类：在凸集上最小化凸函数时，任何局部最优解即为全局最优解，这一性质使凸优化问题理论优美且算法高效，许多非凸问题也致力于转化为凸问题求解。整数规划要求部分或全部变量取整数值，多属 NP-hard 问题，典型例子包括旅行商问题和背包问题，在物流、调度和排产中极为常见。

最优性条件

最优性条件是判断可行解是否为最优解的数学准则。无约束问题中，$\nabla f(x^*) = 0$ 是局部最优的必要条件，该点称为驻点；进一步通过 Hessian 矩阵的正定性可判定极小值、极大值还是鞍点。有约束问题的KKT 条件（Karush–Kuhn–Tucker）是拉格朗日乘数法向非线性规划的推广，提供了一阶必要条件：包括梯度平衡条件、互补松弛条件、原可行性和对偶可行性。对于凸优化问题，在 Slater 条件等正则性假设下，KKT 条件同时也是充分条件，构成了算法设计与分析的基石。

跨学科应用

经济学与金融学：消费者在预算约束下最大化效用（效用最大化）；企业在成本约束下决定产量以最大化利润（利润最大化）；投资者根据马科维茨模型进行投资组合优化，在给定风险下最大化预期回报或在给定回报下最小化风险。统计学与机器学习：最小二乘法本质是极小化观测值与预测值的误差平方和；最大似然估计是最大化似然函数以估计模型参数；神经网络训练通过梯度下降法及其变体（如 Adam、RMSProp）最小化损失函数——几乎所有模型训练本质上都是优化问题。工程与运筹学：涉及供应链管理中的工厂选址与物流路线优化、电路设计中的元件布局与信号延迟最小化、结构设计中在强度约束下最小化材料用量等实际问题。最优化是连接数学理论与现实决策的重要桥梁。