无穷范数
无穷范数(infinity norm),又称最大范数(maximum norm)、切比雪夫范数(Chebyshev norm)或上确界范数(supremum norm),是向量和矩阵分析中最基本的范数之一。其核心思想极为朴素:一个向量的"大小"由其各分量绝对值的最大值决定。
定义
向量无穷范数
对于 n 维实向量 x=(x1,x2,…,xn)∈Rn,其无穷范数定义为:
∥x∥∞=1≤i≤nmax∣xi∣
对于复向量,取复数的模 ∣xi∣ 后取最大值。在函数空间中,无穷范数自然推广为:
∥f∥∞=x∈Dsup∣f(x)∣
这便是 L^∞ 范数的标准形式。
矩阵无穷范数
矩阵的无穷范数(induced infinity norm)由向量无穷范数诱导而来:
∥A∥∞=∥x∥∞=1max∥Ax∥∞=1≤i≤mmaxj=1∑n∣aij∣
即最大绝对行和——计算每行元素绝对值之和,取最大者。这一简洁性使得矩阵无穷范数在数值线性代数中极为实用。
作为 Lp 范数的极限
无穷范数的命名源于它是 p-范数在 p→∞ 时的极限。对于向量 x,Lp 范数为:
∥x∥p=(i=1∑n∣xi∣p)1/p,p≥1
当 p→∞ 时,可以通过极限分析证明:
p→∞lim∥x∥p=imax∣xi∣=∥x∥∞
直观解释:随着 p 增大,最大的分量 ∣xk∣p 在求和项中迅速占据绝对主导地位。其他分量即使只稍小一点,其 p 次幂也会被指数放大效应碾压,最终在开 p 次根后收敛到最大值。
形式证明:令 M=maxi∣xi∣,设 xk=M,则:
M=(Mp)1/p≤(∑∣xi∣p)1/p≤(nMp)1/p=n1/pM→M(p→∞)
夹逼定理即得结论。
范数公理的验证
无穷范数满足范数的全部三条公理:
- 正定性:∥x∥∞≥0,且 ∥x∥∞=0⟺x=0
- 齐次性:∥αx∥∞=max∣αxi∣=∣α∣max∣xi∣=∣α∣⋅∥x∥∞
- 三角不等式:∥x+y∥∞=max∣xi+yi∣≤max(∣xi∣+∣yi∣)≤max∣xi∣+max∣yi∣=∥x∥∞+∥y∥∞
单位球
无穷范数的单位球(所有满足 ∥x∥∞=1 的点集)在 Rn 中是一个超立方体(hypercube)的表面。具体而言:
- 在 R2 中,单位球是边长为 2、中心在原点的正方形边界
- 在 R3 中,单位球是边长为 2 的立方体表面
- 一般地,在 Rn 中,是超立方体 [−1,1]n 的边界
对比之下:L1 单位球是菱形(二维)或八面体(三维),L2 单位球是标准的圆/球面。三种范数的单位球从内到外依次为:L∞ 球包含 L2 球,L2 球包含 L1 球。
对偶范数
无穷范数的对偶范数是 L1 范数。由 Hölder 不等式:
∣xTy∣≤∥x∥∞⋅∥y∥1
且这个界是紧的(取 y 为 x 的最大分量对应的标准基向量可达到等号。严格地说,对偶范数定义为 ∥y∥∗=sup∥x∥∞≤1xTy,恰等于 ∥y∥1)。
等价性与其他范数的关系
在有限维空间中,所有范数等价。无穷范数与 L1、L2 范数之间有以下不等式关系:
∥x∥∞≤∥x∥2≤n∥x∥∞
∥x∥∞≤∥x∥1≤n∥x∥∞
n1∥x∥1≤∥x∥2≤∥x∥1
这些不等式在数值分析中用于误差估计和收敛性分析。
计算方法
无穷范数的计算复杂度为 O(n)——只需一次遍历找到绝对值最大的分量。这使得它在计算上极为高效,尤其适合:
- 残差评估:在迭代算法中快速检查 ∥r(k)∥∞<ε 作为终止条件
- 最坏情况分析:关注最大偏差,而非平均偏差
- 鲁棒性验证:控制系统设计中检查最大误差是否在容许范围内
应用场景
数值线性代数
矩阵无穷范数(最大行和)因其计算简单而广泛用于条件数估计和向后误差分析。线性方程组 Ax=b 的无穷范数条件数为:
κ∞(A)=∥A∥∞⋅∥A−1∥∞
逼近论
在切比雪夫逼近理论中,无穷范数是自然的选择:寻找多项式 pn(x) 使得最大绝对偏差 ∥f−pn∥∞ 最小化。这正是切比雪夫多项式成为最优一致逼近多项式的原因,也是"切比雪夫范数"这一别名的由来。
机器学习和优化
- L∞ 正则化:虽不如 L1 和 L2 常见,但有时用于对最大参数幅值施加硬约束
- 对抗样本:攻击者常以 L∞ 球为约束(每个像素最多改变 ε),因为这模拟了人眼不可察觉的扰动上界
- 鲁棒优化:worst-case optimization 的本质即是用无穷范数衡量不确定性
控制理论
H∞ 控制理论以无穷范数度量系统的最大增益(从扰动到输出的最坏放大比),是鲁棒控制的基石。
与 L¹、L² 的对比
| 特性 | ∥⋅∥1 | ∥⋅∥2 | ∥⋅∥∞ | |---|---|---|---|---| | 计算 | 求和 | 平方和开根 | 取最大值 | | 单位球 | 菱形/八面体 | 圆/球面 | 正方形/立方体 | | 可微性 | 在轴上不可微 | 除原点外可微 | 在等值面上不可微 | | 对偶范数 | ∞-范数 | 自身 | 1-范数 | | 敏感度 | 平均敏感 | 能量敏感 | 极值敏感 |
总结
无穷范数以其简洁的定义——"取绝对值最大者"——贯穿数学的各个分支。从 Lp 空间的极限性质,到切比雪夫逼近的最优性,再到现代机器学习中的对抗鲁棒性,无穷范数始终扮演着不可替代的角色。它的计算效率(O(n))和最坏情况语义,使其成为工程师和数学家工具箱中的基础利器。
参见
- [[Lp空间]]
- [[范数]]
- [[切比雪夫多项式]]
- [[矩阵范数]]
- [[条件数]]
- [[H∞控制]]
- [[函数空间]]