欧几里得范数

欧几里得范数 (Euclidean Norm)

欧几里得范数，通常记作 $\|\mathbf{x}\|_2$ 或简记为 $\|\mathbf{x}\|$，是有限维实向量空间 $\mathbb{R}^n$ 上最自然的长度度量，其几何意义即为向量在欧几里得空间中的实际长度。它是 $L^p$ 空间 范数族中 $p=2$ 的特例，来源于毕达哥拉斯定理在 $n$ 维空间中的直接推广。

对于向量 $\mathbf{x} = (x_1, x_2, \ldots, x_n)^T \in \mathbb{R}^n$，其欧几里得范数定义为：

在 线性代数 和 泛函分析 的语言中，欧几里得范数等价于向量与自身的内积再开方：

其中 $\langle \cdot, \cdot \rangle$ 表示标准欧几里得内积。这一内积结构赋予欧几里得范数丰富的几何性质，使其成为 Hilbert空间 理论在有限维情形下的标准范数。

基本性质

欧几里得范数满足范数的三条基本公理：

1. 正定性：$\|\mathbf{x}\|_2 \ge 0$ 对所有 $\mathbf{x}$ 成立，且 $\|\mathbf{x}\|_2 = 0$ 当且仅当 $\mathbf{x} = \mathbf{0}$。
2. 齐次性：对任意标量 $\alpha \in \mathbb{R}$，有 $\|\alpha \mathbf{x}\|_2 = |\alpha| \cdot \|\mathbf{x}\|_2$。
3. 三角不等式：对任意 $\mathbf{x}, \mathbf{y} \in \mathbb{R}^n$，有 $\|\mathbf{x} + \mathbf{y}\|_2 \le \|\mathbf{x}\|_2 + \|\mathbf{y}\|_2$。

除这三条公理之外，欧几里得范数还承载着源自内积的深厚结构。其中最重要的两个性质是：

• Cauchy-Schwarz 不等式：$|\langle \mathbf{x}, \mathbf{y} \rangle| \le \|\mathbf{x}\|_2 \|\mathbf{y}\|_2$，这是 Cauchy-Schwarz不等式 在 $\mathbb{R}^n$ 上的直接推论，也是推导三角不等式的基础。
• 平行四边形法则：$\|\mathbf{x} + \mathbf{y}\|_2^2 + \|\mathbf{x} - \mathbf{y}\|_2^2 = 2\left(\|\mathbf{x}\|_2^2 + \|\mathbf{y}\|_2^2\right)$。这一定律刻画了由内积诱导的范数——事实上，一个范数可由内积诱导当且仅当它满足平行四边形法则（Jordan-von Neumann 定理）。

与其他范数的关系

欧几里得范数是更一般的 $L^p$ 范数族的一员。对于 $p \ge 1$，$L^p$ 范数定义为：

令 $p \to \infty$ 则得到 上确界范数 $\|\mathbf{x}\|_\infty = \max_{1 \le i \le n} |x_i|$。在有限维空间中，所有范数彼此等价，欧几里得范数与其他常见范数之间成立以下不等式：

这些不等式在数值分析和优化算法收敛性分析中经常使用。其中 $L^1$ 范数与 $L^2$ 范数之间的等价常数 $\sqrt{n}$ 在高维情况下会随维度增长，这在处理高维 机器学习 问题时可能导致所谓的"维数灾难"——即高维空间中距离度量趋向均匀化，范数的区分能力下降。

几何解释

在 $\mathbb{R}^2$ 中，欧几里得范数的单位球 $\{ \mathbf{x} : \|\mathbf{x}\|_2 = 1 \}$ 是标准的单位圆；在 $\mathbb{R}^3$ 中是单位球面。相比之下，$L^1$ 范数的单位球是菱形（$\mathbb{R}^2$）或正八面体（$\mathbb{R}^3$），而上确界范数的单位球是正方形（$\mathbb{R}^2$）或立方体（$\mathbb{R}^3$）。欧几里得范数的单位球在所有方向上是旋转不变的——这是一般 $p \neq 2$ 的 $L^p$ 范数所不具备的性质。

这一旋转不变性根植于欧几里得范数的正交变换不变性：对任何 正交矩阵 $\mathbf{Q}$（满足 $\mathbf{Q}^T \mathbf{Q} = \mathbf{I}$），有 $\|\mathbf{Q}\mathbf{x}\|_2 = \|\mathbf{x}\|_2$。这使得欧几里得范数在线性回归中的 普通最小二乘法 估计、主成分分析（PCA）以及所有涉及正交投影的方法中占据天然的理论优势。

应用场景

1. 普通最小二乘法 (OLS)：线性回归的核心目标是最小化残差向量的欧几里得范数平方 $\|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|_2^2$。这一选择并非偶然——在正态分布误差假设下，最小化欧几里得范数等价于 极大似然估计。
2. 岭回归与 L2 正则化：L2正则化 在线性模型中加入参数向量的欧几里得范数平方惩罚项 $\lambda \|\boldsymbol{\beta}\|_2^2$，使估计量收缩到原点附近，缓解多重共线性并限制模型复杂度。这构成了 偏差-方差权衡 的典型范例。
3. 数值线性代数：矩阵的 谱范数（即按欧几里得范数诱导的算子范数）广泛用于条件数分析和误差估计。矩阵 $\mathbf{A}$ 的条件数定义为 $\kappa_2(\mathbf{A}) = \|\mathbf{A}\|_2 \|\mathbf{A}^{-1}\|_2$，度量了线性方程组对输入误差的敏感度。
4. 统计学与机器学习：K-均值聚类、K-近邻分类等算法都依赖欧几里得距离度量样本间的相似性。在高维问题中，常通过 岭回归 或 LASSO 等正则化方法对欧几里得范数施加约束来控制过拟合。

与二次型的关系

欧几里得范数平方自身就是最简单的正定二次型：$\|\mathbf{x}\|_2^2 = \mathbf{x}^T \mathbf{I} \mathbf{x}$。更一般地，给定 正定矩阵 $\mathbf{A}$，向量 $\mathbf{x}$ 的加权范数定义为 $\|\mathbf{x}\|_{\mathbf{A}} = \sqrt{\mathbf{x}^T \mathbf{A} \mathbf{x}}$，这相当于在变换后的坐标中使用欧几里得范数。这一推广在 广义最小二乘法 (GLS) 和 马氏距离 中起着核心作用——马氏距离即为用协方差矩阵的逆作为加权矩阵的欧几里得型距离。

在优化理论中，欧几里得范数构成了 梯度下降法 的理论基础。函数 $f$ 在点 $\mathbf{x}$ 处的最速下降方向（在 $\|\cdot\|_2$ 意义下）恰好是负梯度 $-\nabla f(\mathbf{x})$；但如果改用不同的范数度量，最速下降方向将发生变化，从而引出 镜像下降 和自然梯度等更一般的优化方法。