子空间

子空间 (Subspace)

子空间是线性代数中的核心概念，指一个向量空间的非空子集，其自身在相同的加法和标量乘法运算下也构成向量空间。子空间为理解线性系统的解结构、投影理论和降维方法提供了基本框架，在计量经济学、统计学和机器学习中具有广泛而深刻的应用。

定义与充要条件

设 $V$ 是域 $\mathbb{F}$（通常为 $\mathbb{R}$ 或 $\mathbb{C}$）上的向量空间。非空子集 $W \subseteq V$ 是 $V$ 的子空间，当且仅当关于加法和标量乘法封闭：

1. 加法封闭：对任意 $\mathbf{u}, \mathbf{v} \in W$，有 $\mathbf{u} + \mathbf{v} \in W$；
2. 标量乘法封闭：对任意 $\mathbf{u} \in W$ 和标量 $c \in \mathbb{F}$，有 $c\mathbf{u} \in W$。

两个条件可合并为单一判定条件：对任意 $\mathbf{u}, \mathbf{v} \in W$ 和 $a, b \in \mathbb{F}$，有 $a\mathbf{u} + b\mathbf{v} \in W$。任一子空间必然包含零向量 $\mathbf{0}$，因为取 $c = 0$ 即可由封闭性推出。换言之，不含零向量的子集不可能是子空间。

常见子空间

在 $\mathbb{R}^n$ 中，以下几种子空间尤为重要：

• 零空间 (Null Space)：对 $m \times n$ 矩阵 $\mathbf{A}$，其零空间 $\mathcal{N}(\mathbf{A}) = \{\mathbf{x} \in \mathbb{R}^n : \mathbf{A}\mathbf{x} = \mathbf{0}\}$ 是 $\mathbb{R}^n$ 的子空间。零空间刻画了齐次线性方程组的所有解。在线性回归中，若设计矩阵的零空间非平凡（仅含 $\mathbf{0}$），则存在完全共线性，OLS 估计量不唯一。
• 列空间 (Column Space)：矩阵 $\mathbf{A}$ 的列空间 $\mathcal{C}(\mathbf{A}) = \{\mathbf{A}\mathbf{x} : \mathbf{x} \in \mathbb{R}^n\}$ 是 $\mathbb{R}^m$ 的子空间，由 $\mathbf{A}$ 所有列向量的线性组合张成。在回归模型中，列空间是 $\hat{\mathbf{y}} = \mathbf{X}\hat{\boldsymbol{\beta}}$ 所在的空间——所有可能的拟合值恰好构成设计矩阵 $\mathbf{X}$ 的列空间。
• 行空间 (Row Space)：$\mathbf{A}$ 的行空间 $\mathcal{R}(\mathbf{A}) = \mathcal{C}(\mathbf{A}^\top)$ 是 $\mathbb{R}^n$ 的子空间。行空间与零空间互为正交补：$\mathcal{R}(\mathbf{A}) \oplus \mathcal{N}(\mathbf{A}) = \mathbb{R}^n$，即秩-零化度定理的几何表述。
• 张成空间 (Span)：给定向量组 $\{\mathbf{v}_1, \ldots, \mathbf{v}_k\} \subseteq V$，其张成空间 $\operatorname{span}\{\mathbf{v}_1, \ldots, \mathbf{v}_k\}$ 是所有线性组合的集合，是包含这些向量的最小子空间。

基本子空间定理与正交分解

线性代数的基本定理指出，对任意 $m \times n$ 矩阵 $\mathbf{A}$：

其中 $\oplus$ 表示正交直和。这意味着任何 $\mathbf{x} \in \mathbb{R}^n$ 可唯一分解为行空间分量与零空间分量之和。该分解在计量经济学中对应着Frisch-Waugh-Lovell定理和偏回归的几何直觉——控制一组变量等价于在被控变量的正交补子空间上做投影。

计量经济学中的核心应用

子空间理论渗透在计量经济学的多个层面：

• OLS 的几何解释：OLS 估计量 $\hat{\boldsymbol{\beta}}$ 使得残差向量 $\hat{\boldsymbol{\varepsilon}} = \mathbf{y} - \mathbf{X}\hat{\boldsymbol{\beta}}$ 正交于设计矩阵的列空间 $\mathcal{C}(\mathbf{X})$。换言之，拟合值 $\hat{\mathbf{y}} = \mathbf{X}\hat{\boldsymbol{\beta}}$ 是 $\mathbf{y}$ 在 $\mathcal{C}(\mathbf{X})$ 上的正交投影，投影矩阵为 $\mathbf{P}_{\mathbf{X}} = \mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top$。残差制造矩阵 $\mathbf{M}_{\mathbf{X}} = \mathbf{I} - \mathbf{P}_{\mathbf{X}}$ 则将 $\mathbf{y}$ 投影到 $\mathcal{C}(\mathbf{X})$ 的正交补 $\mathcal{N}(\mathbf{X}^\top)$ 上。
• 方差分析分解：总平方和 $\mathbf{y}^\top\mathbf{y}$ 可分解为模型平方和 $\mathbf{y}^\top\mathbf{P}_{\mathbf{X}}\mathbf{y}$ 与残差平方和 $\mathbf{y}^\top\mathbf{M}_{\mathbf{X}}\mathbf{y}$。此分解的正交性由 $\mathbf{P}_{\mathbf{X}}\mathbf{M}_{\mathbf{X}} = \mathbf{0}$ 保证，本质上是 $\mathbb{R}^n$ 在 $\mathcal{C}(\mathbf{X})$ 和 $\mathcal{N}(\mathbf{X}^\top)$ 两个互为正交补的子空间上的直和分解。
• 完全共线性检测：当设计矩阵 $\mathbf{X}$ 的列不满秩时，$\mathcal{N}(\mathbf{X})$ 的维数（即零化度）大于零，存在非零向量 $\mathbf{c}$ 使 $\mathbf{X}\mathbf{c} = \mathbf{0}$——这就是完全共线性的代数本质。此时 $\mathbf{X}^\top\mathbf{X}$ 不可逆，OLS 没有唯一解，需借助广义逆矩阵或岭回归等正则化手段。
• 主成分分析 (PCA)：PCA 寻找数据协方差矩阵的特征子空间——数据变异最大的方向所张成的低维子空间。通过将高维数据投影到前 $k$ 个主成分子空间上，实现降维并保留最大方差。这在因子模型、扩散指数预测和宏观经济预测中广泛应用。
• 工具变量法：两阶段最小二乘法 (2SLS) 的第一阶段将内生解释变量投影到工具变量的列空间 $\mathcal{C}(\mathbf{Z})$ 上，第二阶段则在投影后的变量所张成的子空间中进行回归，从而消除内生性偏误。

与相关概念的区分

子空间与仿射空间不同：仿射空间是子空间的平移（如 $\{\mathbf{x} : \mathbf{A}\mathbf{x} = \mathbf{b}\}$ 当 $\mathbf{b} \neq \mathbf{0}$ 时是仿射空间而非子空间）。与凸集的关系：子空间必然是凸集（线性组合对任意系数封闭），但凸集未必是子空间。

在度量空间和拓扑空间的语境中，子空间一词也指赋范向量空间或内积空间的子集配备诱导度量和相对拓扑。有限维赋范向量空间的任一子空间都是完备的（即Banach空间的闭子空间），但无穷维情况下子空间可能不闭——这在函数空间和非参数计量经济学中的筛分估计 (sieve estimation) 中是一关键技术细节：筛分空间通常是随着样本量增大而逐渐扩张的有限维子空间序列。