数值优化

数值优化 (Numerical Optimization)

数值优化（数学规划）利用迭代算法寻找函数最优解（最大值/最小值）——当解析解无法求得时的求解框架。标准形式：$\min_{x\in\mathbb{R}^n} f(x)$ s.t. $g_i(x)=0$，$h_j(x)\le 0$。

核心组成部分

目标函数 $f(x)$：欲最大化/最小化的函数（投资组合风险最小化/企业利润最大化）。决策变量 $x$：决策者可控调整的变量（资产配置权重）。约束条件：等式约束$g_i(x)=0$（权重和=1）+不等式约束$h_j(x)\le 0$（权重非负）。所有满足约束的决策变量集合=可行域。

为何需要数值方法

现实问题过复杂→无法得封闭形解析解（函数复杂难解导方程；高维→神经网络训练变量数十亿；不可微）。数值/迭代法：从初始猜测$x_0$出发→通过迭代生成$x_1,x_2,\dots$（每步改善→$f(x_{k+1})<f(x_k)$（最小化））→满足收敛准则（梯度近零/解变化极小）时停→返回近似最优。

问题分类

按约束：无约束优化（无约束→最简→梯度下降原形）、约束优化（含等式/不等式→更复杂）。按性质：线性规划LP→目标+约束皆线性（最成熟）；非线性规划NLP→至少一非线性（数值优化主领域）；凸优化→凸函数+凸集→任何局部最优即全局最优（可靠高效）；二次规划QP→目标二次+约束线性（马科维茨投资组合即典范）；整数规划IP→部分/全部变量限整数。

核心算法

梯度下降(SGD)：一阶法→$\nabla f(x)$指增长最快方向→沿$-\nabla f$移动→$x_{k+1}=x_k-\alpha\nabla f(x_k)$。学习率$\alpha$关键（太小收敛慢/太大震荡发散）。变种：随机梯度下降SGD/Adam/RMSprop→训练大规模模型标准。

牛顿法：二阶法→当前点二次近似→找近似极小点。$x_{k+1}=x_k-[H(x_k)]^{-1}\nabla f(x_k)$，$H$为海森矩阵。优点：二次收敛（比梯度下降线性快）。缺点：$H$计算+求逆成本高（高维问题），初点远/$H$非正定→不稳。变种：拟牛顿法BFGS（迭代近似$H^{-1}$→快收敛低计算）。

约束方法：拉格朗日乘子法（等式约束→构造拉格朗日函数转化为无约束）；KKT条件（推广至不等式约束→一阶必要条件）；内点法/序列二次规划SQP（现代求解器核心）。

经济金融统计应用

经济学：效用最大化/利润最大化/成本最小化→计算一般均衡。金融学：投资组合优化（二次规划）、衍生品定价校准、VaR计算。统计学+机器学习：MLE（最大化似然）、最小二乘法（最小化残差平方和→回归拟合）、人工智能模型训练→最小化损失函数的大规模数值优化。