正交投影

正交投影 (Orthogonal Projection)

正交投影 (Orthogonal Projection) 是线性代数与几何学中的一个核心概念，指将一个向量或点映射到某个子空间上，使得映射前后的"误差向量"与子空间中的每一个向量都正交（即垂直）的线性变换。这一概念不仅构成了内积空间理论的重要基础，也是最小二乘法、信号处理、计算机图形学以及泛函分析中希尔伯特空间理论的基石。

定义与基本概念

内积空间中的正交投影

设 $V$ 是一个定义在实数域（或复数域）上的内积空间，$W$ 是 $V$ 的一个有限维子空间。对于任意向量 $v \in V$，存在唯一的向量 $w \in W$ 满足以下条件：

即 $v - w$ 与 $W$ 中所有向量正交。这个唯一的向量 $w$ 称为 $v$ 在子空间 $W$ 上的正交投影，记作 $\operatorname{proj}_W(v)$ 或 $P_W(v)$。

正交投影算子 $P_W: V \to W$ 是一个线性变换，具有幂等性（$P_W^2 = P_W$）和自伴性（$P_W^* = P_W$）。在实内积空间中，自伴性等价于对应矩阵的对称矩阵性质。

投影定理

投影定理（Projection Theorem）断言：在希尔伯特空间（完备的内积空间）中，对于任意闭子空间 $W$ 和任意向量 $v$，都存在唯一的正交投影 $\operatorname{proj}_W(v)$。这一定理保证了正交投影运算的良好定义性，即使在无限维情形下，只要限制在闭子空间上，正交投影依然存在且唯一。

正交投影的代数表示

基于正交基的计算

若 $W$ 有一个标准正交基 $\{u_1, u_2, \ldots, u_k\}$，则向量 $v$ 在 $W$ 上的正交投影可简洁地表示为：

其中 $\langle \cdot, \cdot \rangle$ 表示内积。这是傅里叶展开在有限维空间的直接体现，每一项 $\langle v, u_i \rangle$ 都是 $v$ 在基向量 $u_i$ 方向上的"坐标"。

若基 $\{w_1, w_2, \ldots, w_k\}$ 不是标准正交的，则需要先通过格拉姆-施密特正交化（Gram-Schmidt Orthogonalization）构造正交基，或直接使用下面的投影矩阵方法。

投影矩阵表示

在欧几里得空间 $\mathbb{R}^n$ 中，若 $W$ 由矩阵 $A$ 的列空间张成（即 $W = \operatorname{Col}(A)$），其中 $A$ 是 $n \times k$ 列满秩矩阵，则正交投影到 $W$ 的矩阵为：

这是一个对称矩阵和幂等矩阵（$P_W^T = P_W$ 且 $P_W^2 = P_W$）。对于任意向量 $v \in \mathbb{R}^n$，其在 $W$ 上的正交投影为：

该公式的几何意义在于：$A^Tv$ 计算了向量 $v$ 与各基向量的内积，$(A^TA)^{-1}$ 处理了基向量间的相关性，最后左乘 $A$ 重构出投影向量。

一维子空间的投影

当 $W$ 是由非零向量 $u$ 张成的直线时，投影公式简化为：

在 $\mathbb{R}^n$ 中，若 $u$ 是单位向量，则进一步简化为 $\operatorname{proj}_u(v) = (u^Tv)u$，这在计算向量在特定方向分量时极为常用。

几何解释与核心性质

最小距离性质

正交投影最重要的几何意义在于：$\operatorname{proj}_W(v)$ 是子空间 $W$ 中距离 $v$ 最近的点。形式化地，对于任意 $w \in W$：

这建立了正交投影与最小二乘解的直接联系——最小二乘法本质上是寻找在欧氏距离意义下最优的近似解，即正交投影。该性质源于勾股定理：对于任意 $w \in W$，有

正交分解

任意向量 $v$ 可唯一分解为：

其中 $W^\perp$ 是 $W$ 的正交补（即所有与 $W$ 中向量正交的向量构成的子空间）。这称为 $v$ 的正交分解，它将空间 $V$ 分解为两个正交子空间的直和 $V = W \oplus W^\perp$。

投影算子的代数性质

正交投影算子 $P_W$ 满足以下关键性质：

1. 幂等性：$P_W^2 = P_W$（两次投影等于一次投影）
2. 自伴性：在实内积空间中 $P_W^T = P_W$；在复内积空间中 $P_W^* = P_W$
3. 值域与核：$\operatorname{Range}(P_W) = W$，$\operatorname{Ker}(P_W) = W^\perp$
4. 谱性质：$P_W$ 的特征值为 0 或 1，对应特征空间分别为 $W^\perp$ 和 $W$
5. 范数不增性：对于任意 $v$，$\|\operatorname{proj}_W(v)\| \le \|v\|$
6. 幂等矩阵性质：$P_W$ 是幂等矩阵，其秩等于迹，也等于子空间 $W$ 的维数

计算方法与实现步骤

标准算法流程

给定 $v \in \mathbb{R}^n$ 和由基向量 $\{a_1, \ldots, a_k\}$ 张成的子空间 $W$，计算正交投影的推荐步骤如下：

1. 构造矩阵：$A = [a_1 \ a_2 \ \cdots \ a_k] \in \mathbb{R}^{n \times k}$
2. 判断基的类型： \begin{itemize}
3. 若基是标准正交基（$A^TA = I$），则直接计算 $\operatorname{proj}_W(v) = AA^Tv$
4. 否则继续下一步 \end{itemize}
5. 计算投影矩阵：$P_W = A(A^TA)^{-1}A^T$（可通过 Cholesky 分解或 QR 分解提高数值稳定性）
6. 执行投影：$\operatorname{proj}_W(v) = P_W v$

数值稳定性考量

在实际计算中，直接求解 $(A^TA)^{-1}$ 可能数值不稳定。更优的方法是使用 $A$ 的 QR 分解：$A = QR$，其中 $Q$ 的列构成 $W$ 的标准正交基，此时投影矩阵简化为 $P_W = QQ^T$，计算更为稳定。

重要应用场景

最小二乘逼近与线性回归

在线性回归中，给定设计矩阵 $X \in \mathbb{R}^{n \times p}$ 和响应向量 $y \in \mathbb{R}^n$，最小二乘估计 $\hat{\beta} = (X^TX)^{-1}X^Ty$ 使得预测值 $\hat{y} = X\hat{\beta}$ 正是 $y$ 在 $\operatorname{Col}(X)$ 上的正交投影。残差向量 $e = y - \hat{y}$ 与列空间正交，这构成了回归诊断的理论基础。

信号处理与数据压缩

在信号处理中，正交投影用于将信号分解到不同频率分量（傅里叶分析）或小波基上。滤波操作可视为将信号投影到特定频率子空间。在数据压缩中，保留信号在前 $k$ 个主成分上的投影即实现了降维和压缩。

计算机图形学

在计算机图形学中，正交投影用于 3D 到 2D 的视点无关投影，以及计算物体在平面上的阴影。其本质是将空间点沿垂直于投影平面的方向投影，保持平行线的平行性，这与透视投影形成对比。

量子力学中的测量

在量子力学中，可观测量对应于希尔伯特空间上的自伴算子，测量过程就是将被测系统的 state vector 正交投影到该算子的某个本征子空间上，投影的模方给出测量概率。这是量子测量理论的数学基础。

数值分析与迭代方法

在数值分析中，克雷洛夫子空间方法（如 GMRES、CG）通过迭代构造解在特定子空间上的正交投影来求解大规模线性系统 $Ax = b$。这些方法避免了对矩阵的直接分解，适合求解稀疏系统。

与相关概念的深层联系

与斜投影的对比

不同于正交投影，斜投影（Oblique Projection）允许投影方向不垂直于目标子空间，其投影矩阵形式为 $P = A(C^TA)^{-1}C^T$，其中 $C$ 的列空间定义了投影方向。斜投影在某些控制理论和信号处理中有应用，但失去最小距离性质，其算子仅满足幂等性而不满足自伴性。

与谱定理的关系

谱定理指出，任何自伴算子都可以对角化，其特征空间相互正交。正交投影算子是最简单的自伴算子，其谱分解直接体现了向特征子空间的投影。反过来，任何自伴算子都可以表示为正交投影算子的线性组合。

与奇异值分解（SVD）

奇异值分解 $A = U\Sigma V^T$ 中，$U$ 和 $V$ 的列向量分别张成了 $A$ 的列空间和行空间。投影到 $A$ 的列空间可表示为 $P_{\operatorname{Col}(A)} = U_1 U_1^T$，其中 $U_1$ 对应非零奇异值的左奇异向量。这为投影计算提供了数值稳定且揭示结构的方法。

与条件期望的概率联系

在概率论中，$L^2$ 空间上的条件期望 $E[X|\mathcal{G}]$ 实际上是随机变量 $X$ 关于 $\sigma$-代数 $\mathcal{G}$ 生成的子空间的正交投影。这建立了概率论与希尔伯特空间几何学的深刻联系，使得概率论中的许多概念可以借助几何直观来理解。

计算示例与验证

三维空间中的投影

考虑 $\mathbb{R}^3$ 中子空间 $W$ 由向量 $a_1 = (1, 0, 1)^T$ 和 $a_2 = (0, 1, 1)^T$ 张成，求向量 $v = (1, 2, 3)^T$ 在 $W$ 上的正交投影。

解：

1. 构造矩阵 $A = \begin{pmatrix} 1 & 0 \\ 0 & 1 \\ 1 & 1 \end{pmatrix}$
2. 计算 $A^TA = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}$
3. 计算逆矩阵 $(A^TA)^{-1} = \frac{1}{3}\begin{pmatrix} 2 & -1 \\ -1 & 2 \end{pmatrix}$
4. 计算投影矩阵 $P_W = A(A^TA)^{-1}A^T = \frac{1}{3}\begin{pmatrix} 2 & -1 & 1 \\ -1 & 2 & 1 \\ 1 & 1 & 2 \end{pmatrix}$
5. 计算投影 $\operatorname{proj}_W(v) = P_W v = \frac{1}{3}\begin{pmatrix} 2 & -1 & 1 \\ -1 & 2 & 1 \\ 1 & 1 & 2 \end{pmatrix}\begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix} = \frac{1}{3}\begin{pmatrix} 3 \\ 6 \\ 9 \end{pmatrix} = \begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix}$

本例中 $v$ 实际上属于 $W$，因此其投影是其自身，验证得 $v = 1 \cdot a_1 + 2 \cdot a_2$。

再计算 $v = (1, 0, 0)^T$ 的投影：

残差向量 $v - \operatorname{proj}_W(v) = \frac{1}{3}\begin{pmatrix} 1 \\ 1 \\ -1 \end{pmatrix}$ 确实与 $W$ 正交，验证得 $\langle (1, 1, -1), (1, 0, 1) \rangle = 0$ 且 $\langle (1, 1, -1), (0, 1, 1) \rangle = 0$。

推广与抽象化

无限维空间中的推广

在无限维希尔伯特空间（如函数空间 $L^2[a,b]$）中，正交投影理论仍然成立，但需要子空间是闭的。例如，将函数投影到由前 $n$ 个傅里叶基函数张成的子空间，即得到傅里叶级数的部分和，这正是傅里叶分析的几何本质。

非线性投影方法

虽然正交投影是线性的，但在流形学习和降维中，有时需要考虑非线性投影方法（如主成分分析中的投影虽本身是线性的，但可通过核技巧实现非线性）。这些方法在局部保持正交性的思想，但全局上是非线性变换。

随机投影与高维处理

在高维数据处理中，随机投影利用 Johnson--Lindenstrauss 引理，通过随机矩阵实现近似正交投影，用于降维和快速计算。这种方法在保持点之间距离大致不变的前提下，极大降低了计算复杂度，是处理大规模高维数据的有效工具。

正交投影作为连接代数结构与几何直观的桥梁，其深刻的几何意义、简洁的代数表示以及广泛的适用性，使其成为现代数学与应用科学中不可或缺的工具。掌握正交投影不仅是理解线性代数理论的关键，也是解决实际工程与科学问题的基础能力。从最小二乘估计到量子测量，从信号压缩到数值求解，正交投影的思想渗透于科学计算的各个层面，体现了数学统一性与普适性的魅力。