KNOWECON WIKI

ARTICLE

标准正交集

标准正交集 (Orthonormal Set) 标准正交集（Orthonormal Set，亦称规范正交集或单位正交集）是线性代数与泛函分析中的基本概念，指一个内积空间（Inner Product Space）中满足两两正交且每个向量的范数均为1的向量集合。标准正交集是正交基（Orthogonal Basis）与标准正交基（Orthonormal Basis

浏览 5 更新 2025-12-15

标准正交集 (Orthonormal Set)

标准正交集（Orthonormal Set，亦称规范正交集或单位正交集）是线性代数与泛函分析中的基本概念，指一个内积空间（Inner Product Space）中满足两两正交且每个向量的范数均为1的向量集合。标准正交集是正交基（Orthogonal Basis）与标准正交基（Orthonormal Basis）概念的核心构件，在Fourier分析、量子力学、信号处理、数值线性代数以及计量经济学的投影与正交化方法中具有广泛而深入的应用。

定义

设 V V 是实数域或复数域上的内积空间，其内积记为 ⟨⋅,⋅⟩ \langle \cdot, \cdot \rangle ，诱导范数 ∥v∥=⟨v,v⟩ \|v\| = \sqrt{\langle v, v \rangle} 。一个向量集 S={e1,e2,…,ek}⊂V S = \{e_1, e_2, \ldots, e_k\} \subset V 被称为标准正交集，当且仅当满足以下两个条件：

  1. 正交性（Orthogonality）：对于任意 i≠j i \neq j ，有 ⟨ei,ej⟩=0 \langle e_i, e_j \rangle = 0 。
  2. 单位范数（Unit Norm）：对于任意 i i ，有 ∥ei∥=⟨ei,ei⟩=1 \|e_i\| = \sqrt{\langle e_i, e_i \rangle} = 1 。

这两个条件可以用Kronecker delta符号统一表示为：

⟨ei,ej⟩=δij={1,i=j,0,i≠j.\langle e_i, e_j \rangle = \delta_{ij} = \begin{cases} 1, & i = j, \\ 0, & i \neq j. \end{cases}

与正交集的关系

若只满足两两正交条件而不要求单位范数，则集合称为正交集（Orthogonal Set）。正交集中每个非零向量可以通过归一化（除以自身的范数）转化为标准正交向量：v^i=vi/∥vi∥ \hat{v}_i = v_i / \|v_i\| 。任何一个不含零向量的正交集经过归一化后即变为标准正交集，这一简单操作是Gram-Schmidt正交化的必要后处理步骤。

二者的本质区别在于：正交性只保证独立的方向信息，而标准正交性进一步锁定了尺度，使坐标计算退化为内积投影。

Gram-Schmidt 标准正交化

将任意一组线性无关的向量 {v1,v2,…,vn} \{v_1, v_2, \ldots, v_n\} 转化为标准正交集的标准方法是Gram-Schmidt过程。算法分两步：先正交化，再单位化。

第一步——正交化：构造正交集 {u1,u2,…,un} \{u_1, u_2, \ldots, u_n\} ：

u1=v1,u2=v2−⟨v2,u1⟩⟨u1,u1⟩u1,uk=vk−∑i=1k−1⟨vk,ui⟩⟨ui,ui⟩ui(k=3,…,n).\begin{aligned} u_1 &= v_1, \\ u_2 &= v_2 - \frac{\langle v_2, u_1 \rangle}{\langle u_1, u_1 \rangle} u_1, \\ u_k &= v_k - \sum_{i=1}^{k-1} \frac{\langle v_k, u_i \rangle}{\langle u_i, u_i \rangle} u_i \quad (k = 3, \ldots, n). \end{aligned}

第二步——单位化：将每个正交向量除以其范数：

ek=uk∥uk∥,k=1,2,…,n.e_k = \frac{u_k}{\|u_k\|}, \quad k = 1, 2, \ldots, n.

最终得到的 {e1,e2,…,en} \{e_1, e_2, \ldots, e_n\} 即为标准正交集。

在数值计算中，为减少舍入误差，常使用改进的修正Gram-Schmidt（Modified Gram-Schmidt, MGS）算法：在计算出每个新正交向量后立即用它正交化所有剩余向量，而非先完成所有正交化再统一处理。对于大规模问题，Householder变换和Givens旋转提供了更好的数值稳定性。

核心性质

标准正交集具有一系列优良的数学性质：

  1. 线性无关性：任何标准正交集（实际上任何正交集）必然是线性无关的。证明：若 ∑αiei=0 \sum \alpha_i e_i = 0 ，则对任意 j j 取与 ej e_j 的内积可得 αj=0 \alpha_j = 0 。
  2. Bessel 不等式：若 {e1,e2,…,ek} \{e_1, e_2, \ldots, e_k\} 是标准正交集，则对任意向量 v∈V v \in V 有： \[ \sum_{i=1}^{k} |\langle v, e_i \rangle|^2 \leq \|v\|^2. \] 该不等式表明傅里叶系数的平方和不超过向量本身的范数平方。
  3. Parseval 恒等式：当标准正交集构成空间的一组完备基（即标准正交基）时，Bessel不等式成为等式： \[ \sum_{i=1}^{\infty} |\langle v, e_i \rangle|^2 = \|v\|^2. \] 这是信号处理中能量守恒的数学基础。
  4. 最佳逼近：在由标准正交集张成的子空间中，任意向量 v v 的最佳逼近（在范数意义下）由其傅里叶系数给出：v^=∑⟨v,ei⟩ei \hat{v} = \sum \langle v, e_i \rangle e_i ，且逼近误差 ∥v−v^∥ \|v - \hat{v}\| 最小。

经典例子

  • Rn \mathbb{R}^n 中的标准基：{(1,0,…,0),(0,1,…,0),…,(0,0,…,1)} \{ (1, 0, \ldots, 0), (0, 1, \ldots, 0), \ldots, (0, 0, \ldots, 1) \} 是最基本的标准正交集，同时也是标准正交基。
  • 三角函数系与 Fourier 级数：在 L2[−π,π] L^2[-\pi, \pi] 空间中，函数集 \[ \left\{ \frac{1}{\sqrt{2\pi}}, \frac{\cos x}{\sqrt{\pi}}, \frac{\sin x}{\sqrt{\pi}}, \frac{\cos 2x}{\sqrt{\pi}}, \frac{\sin 2x}{\sqrt{\pi}}, \ldots \right\} \] 构成一个标准正交集（确切地说，构成 L2[−π,π] L^2[-\pi, \pi] 的一组标准正交基），这是经典Fourier级数理论的核心。
  • Legendre多项式：在 L2[−1,1] L^2[-1, 1] 上，通过Gram-Schmidt过程从 {1,x,x2,…} \{1, x, x^2, \ldots\} 出发构造的Legendre多项式经归一化后构成标准正交集，广泛应用于数值积分与微分方程求解。
  • Hermite多项式与Laguerre多项式：在不同的加权内积下分别构成 L2(R) L^2(\mathbb{R}) 和 L2[0,∞) L^2[0, \infty) 上的标准正交集，是量子谐振子与氢原子模型等物理问题的数学基础。

标准正交基与标准正交矩阵

若一个标准正交集同时也是空间 V V 的一组基（即其张成等于 V V ），则称其为标准正交基（Orthonormal Basis）。在有限维空间中，标准正交基的存在性由Gram-Schmidt过程保证：任何内积空间都存在标准正交基。

将标准正交基的向量按列排列形成的矩阵 Q Q 满足 QTQ=I Q^T Q = I （实情形）或 Q∗Q=I Q^* Q = I （复情形），称为正交矩阵（实情形）或酉矩阵（复情形）。这类矩阵具有保范性（∥Qx∥=∥x∥ \|Qx\| = \|x\| ）和保内积性（⟨Qx,Qy⟩=⟨x,y⟩ \langle Qx, Qy \rangle = \langle x, y \rangle ），在数值线性代数中因其完美的条件数（κ(Q)=1 \kappa(Q) = 1 ）而成为最稳定的线性变换。

QR分解

标准正交化过程的矩阵形式是QR分解：任意列满秩矩阵 A∈Rm×n A \in \mathbb{R}^{m \times n} （m≥n m \geq n ）可分解为：

A=QRA = QR

其中 Q∈Rm×n Q \in \mathbb{R}^{m \times n} 的列构成标准正交集，R∈Rn×n R \in \mathbb{R}^{n \times n} 是上三角矩阵且对角元为正。这一分解是求解最小二乘问题 min⁡∥Ax−b∥2 \min \|Ax - b\|_2 的标准数值方法：由于 QTQ=I Q^TQ = I ，正规方程 ATAx=ATb A^T A x = A^T b 化简为 Rx=QTb R x = Q^T b ，通过回代即可高效求解。

无穷维空间中的完备性

在Hilbert空间（完备的内积空间）中，标准正交集的完备性是一个深刻的问题。一个标准正交集 {eα}α∈I \{e_\alpha\}_{\alpha \in I} 被称为完备的（Complete）或极大标准正交集，若不存在任何非零向量与所有 eα e_\alpha 正交。在可分Hilbert空间中，完备标准正交集构成一组标准正交基，任意向量可展开为收敛的Fourier级数：

v=∑n=1∞⟨v,en⟩en.v = \sum_{n=1}^{\infty} \langle v, e_n \rangle e_n.

需要注意的是，Hamel基与标准正交基在无穷维空间中是两个截然不同的概念：前者仅允许有限线性组合，后者允许无穷级数展开（在范数收敛意义下）。在应用中最常使用的是后者——例如 L2 L^2 空间中的三角函数基和小波基。

在经济学与计量经济学中的应用

标准正交集的思想在经济学中虽不总是显式出现，但广泛渗透于各类定量方法中：

  • 主成分分析（PCA）：PCA通过协方差矩阵的特征分解获得一组标准正交的主方向，各主成分之间互不相关（正交），是降维与因子分析的核心工具。特征值的大小即为主成分解释的方差量，正交性保证了各主成分的信息不重叠。
  • 工具变量（IV）与投影矩阵：两阶段最小二乘法（2SLS）的第一步涉及在工具变量空间上的正交投影，该投影矩阵依赖于工具变量的Gram-Schmidt型正交结构。正交性条件 E[Zε]=0 E[Z \varepsilon] = 0 是IV估计量一致性的基石。
  • Frisch-Waugh-Lovell定理：该定理表明多元回归中某一变量的偏回归系数等价于先将其余变量对被解释变量和该变量分别做正交投影再回归，本质上利用了正交分解的思想。该定理的代数核心正是基于残差制造（residual maker）矩阵的正交投影性质。
  • 正交脉冲响应：在向量自回归（VAR）分析中，结构冲击的识别通常依赖于对简化式残差的方差-协方差矩阵进行Cholesky分解，将相关的残差转化为一组标准正交的结构冲击。这一正交化步骤使得各冲击的经济含义相互独立，是脉冲响应函数和方差分解分析的前提。
  • 谱分析与频率域计量：在时间序列的谱分析中，正弦和余弦函数构成频率域的标准正交基。Fourier变换将时域信号投影到这组基上，获得功率谱密度估计，广泛应用于经济周期的识别与滤波。

\vspace{0.5em} 正交基 \quad\textperiodcentered\quad Gram-Schmidt过程 \quad\textperiodcentered\quad 内积空间 \quad\textperiodcentered\quad Fourier级数 \quad\textperiodcentered\quad Parseval恒等式 \quad\textperiodcentered\quad 主成分分析 \quad\textperiodcentered\quad 线性代数