优化

优化 (Optimization)

优化：在可行解集合中系统寻找使目标函数达最优值（最大/最小）的解。现代科学工程决策核心工具。

问题表述与分类

标准形式：$\min_x f(x)$ s.t. $h_i(x)=0$（等式约束），$g_j(x)\le 0$（不等式约束）。可行集 $\mathcal{C} = \{x\mid h_i=0, g_j\le0\}$。最优解 $x^*$：对任意 $x\in\mathcal{C}$ 有 $f(x^*)\le f(x)$（全局最优）。

分类：连续 vs 离散（整数规划/组合优化）；无约束 vs 约束；线性规划 LP vs 非线性规划 NLP（单纯形法→LP高效）；凸优化 vs 非凸（凸：局部最优=全局最优；非凸：多局部→全局NP难）；确定性 vs 随机优化/鲁棒优化。

最优性条件

无约束：一阶必要条件 $\nabla f(x^*)=0$（驻点）；二阶充分条件 Hessian矩阵 $\nabla^2 f(x^*)$ 正定→严格局部最优。

约束：拉格朗日函数 $L = f + \sum\lambda_i h_i + \sum\mu_j g_j$（$\mu_j\ge0$）。KKT条件（正则性条件满足→局部最优必要）：（1）驻点 $\nabla_x L=0$；（2）原始可行性 $h_i=0, g_j\le0$；（3）对偶可行性 $\mu_j\ge0$；（4）互补松弛性 $\mu_j g_j=0$。凸优化→KKT充分（任何KKT点即全局最优）。

算法与应用

算法：梯度下降法（一阶迭代→ML基础）；牛顿法（二阶→Hessian→二次收敛）；内点法（可行域内迭代→高效处理线性和非线性约束）；启发式算法（模拟退火/遗传算法→难非凸/组合问题）。

经济学：效用最大化（预算约束）/利润最大化/一般均衡。金融：投资组合优化（马科维茨模型变体）/资产定价校准/VaR。统计/ML：最小二乘法/MLE/神经网络训练（梯度下降变体如Adam）。