范数

范数 (Norm)

范数 (Norm) 是线性代数和泛函分析中的一个核心概念，它为向量空间中的每个向量赋予了一个非负的"长度"或"大小"的度量。从几何上看，范数是欧几里得空间中我们熟悉的长度概念的推广；从分析上看，它允许我们定义和度量向量之间的"距离"，并在此基础上建立收敛、连续性等重要概念。一个定义了范数的向量空间被称为赋范向量空间。更进一步，如果该空间在范数诱导的度量下是完备的（即每个柯西序列都收敛），则构成巴拿赫空间，它是现代数学分析的重要基石。

定义与公理

设 $V$ 是实数域 $\mathbb{R}$ 或复数域 $\mathbb{C}$ 上的向量空间。$V$ 上的一个范数是一个函数 $p: V \to \mathbb{R}$，通常记作 $\|\mathbf{x}\|$，并且必须满足以下三条公理：

第一，正定性。对于任意向量 $\mathbf{x} \in V$，有 $\|\mathbf{x}\| \ge 0$，且 $\|\mathbf{x}\| = 0$ 当且仅当 $\mathbf{x}$ 是零向量 $\mathbf{0}$。这条性质确保了只有零向量的"长度"为零，任何非零向量都具有严格为正的长度，这与我们对长度的直观理解完全一致。

第二，绝对齐次性，也称为绝对可伸缩性。对于任意标量 $\alpha$ 和任意向量 $\mathbf{x} \in V$，有 $\|\alpha\mathbf{x}\| = |\alpha|\|\mathbf{x}\|$。这意味着将一个向量缩放 $\alpha$ 倍时，其范数也随之缩放 $|\alpha|$ 倍。负号只改变向量的方向而不影响其长度。

第三，三角不等式。对于任意两个向量 $\mathbf{x}, \mathbf{y} \in V$，有 $\|\mathbf{x} + \mathbf{y}\| \le \|\mathbf{x}\| + \|\mathbf{y}\|$。从几何上看，从原点经由点 $\mathbf{x}$ 再到点 $\mathbf{x}+\mathbf{y}$ 的路径长度，不会比从原点直接到点 $\mathbf{x}+\mathbf{y}$ 的路径长度更短。这条性质也是定义度量 $d(\mathbf{x}, \mathbf{y}) = \|\mathbf{x} - \mathbf{y}\|$ 的基础，使得赋范空间自然成为度量空间。

常见的 $p$-范数

在有限维欧几里得空间 $\mathbb{R}^n$ 中，最常用的一族范数是 $p$-范数，也称为 $L_p$ 范数。对于向量 $\mathbf{x} = (x_1, x_2, \ldots, x_n)$，其 $p$-范数定义为：

其中三个特例最为重要。

$L_1$ 范数——曼哈顿范数

当 $p=1$ 时得到 $L_1$ 范数 $\|\mathbf{x}\|_1 = \sum_{i=1}^{n} |x_i|$，即各分量绝对值之和。它也被称为曼哈顿范数或出租车范数，源于一个形象比喻：在像曼哈顿那样的棋盘式街道网格中，从一个点到另一个点的最短距离不是直线距离，而是沿着街区行走的距离之和。在机器学习和统计学中，$L_1$ 范数有着重要应用，特别是 LASSO 回归通过在损失函数中加入 $L_1$ 正则化惩罚项，能够产生稀疏解，使许多无关特征的系数被精确压缩为零，从而实现特征选择并提升模型的泛化能力。此外，在压缩感知领域，$L_1$ 范数也被用于从少量测量中恢复稀疏信号。

$L_2$ 范数——欧几里得范数

当 $p=2$ 时得到 $L_2$ 范数 $\|\mathbf{x}\|_2 = \sqrt{\sum_{i=1}^{n} x_i^2}$，即我们最熟悉的欧几里得范数，也就是基于勾股定理计算出的向量在空间中的直线长度。如果未特别指明，通常所说的"范数"或"模长"指的就是 $L_2$ 范数。它与内积有密切联系：$\|\mathbf{x}\|_2 = \sqrt{\mathbf{x} \cdot \mathbf{x}}$。在统计学中，最小二乘法（OLS）的目标就是最小化残差向量的 $L_2$ 范数的平方，从而得到最佳线性无偏估计；岭回归使用 $L_2$ 范数平方作为惩罚项来防止过拟合，它与 $L_1$ 正则化的关键区别在于：岭回归倾向于使系数均匀缩小但通常不会精确变为零。

$L_\infty$ 范数——最大范数

当 $p \to \infty$ 时，$p$-范数收敛到 $L_\infty$ 范数 $\|\mathbf{x}\|_\infty = \max_{i} |x_i|$，即向量中绝对值最大的分量。它也被称为切比雪夫范数，在关注"最坏情况"的场景中非常有用，例如衡量信号的最大振幅或数值分析中的最大误差。

几何直观：单位球

理解不同范数差异的一个极佳方式是观察它们的单位球，即集合 $\{\mathbf{x} \in \mathbb{R}^n \mid \|\mathbf{x}\| \le 1\}$。在二维空间中：$L_2$ 范数的单位球是半径为 $1$ 的圆形，光滑且旋转对称；$L_1$ 范数的单位球是顶点在坐标轴上的菱形（旋转了 $45$ 度的正方形）；$L_\infty$ 范数的单位球是与坐标轴对齐的正方形。$L_1$ 单位球的尖角形状解释了为什么 $L_1$ 正则化能产生稀疏解：当优化问题的解（如线性回归的等值线）与 $L_1$ 单位球相交时，交点很可能发生在尖角处（即坐标轴上），从而使得其中一个坐标分量为零。相比之下，$L_2$ 单位球表面光滑，解的交点通常不会恰好落在坐标轴上，因此 $L_2$ 正则化不会产生精确的零系数。

范数的等价性

在有限维向量空间中，所有范数都是等价的。这意味着对于该空间上的任意两个范数 $\|\cdot\|_a$ 和 $\|\cdot\|_b$，都存在正常数 $C_1$ 和 $C_2$，使得对于所有向量 $\mathbf{x}$，有 $C_1 \|\mathbf{x}\|_b \le \|\mathbf{x}\|_a \le C_2 \|\mathbf{x}\|_b$ 成立。一个重要推论是：在有限维空间中，序列的收敛性与范数的选择无关。然而在无限维空间中，范数不一定等价，不同的范数可能导致截然不同的分析结果，这是泛函分析的核心课题。

扩展与应用

范数的概念还可以推广到矩阵空间，得到矩阵范数，用于衡量矩阵的"大小"，这在迭代法求解线性方程组的收敛性分析和扰动理论中至关重要。在泛函分析中，范数被用来定义函数空间的结构，例如在区间 $[a,b]$ 上的连续函数空间 $C[a,b]$ 中可以定义 $L_p$ 范数 $\|f\|_p = \left( \int_a^b |f(x)|^p dx \right)^{1/p}$。此外，矩阵范数需要满足次可乘性 $\|AB\| \le \|A\|\|B\|$，这些赋范函数空间完备化后得到巴拿赫空间和希尔伯特空间，为偏微分方程、傅里叶分析和量子力学等领域提供了坚实的数学基础。总之，范数是连接代数、几何与分析的重要桥梁。