湮没矩阵

湮没矩阵 (Annihilator Matrix)

湮没矩阵是线性代数和计量经济学中的一个重要概念，指将向量投影到某个子空间后，生成残差（即原始向量与其投影之差）的矩阵。在回归分析中，湮没矩阵将观测值转换为其残差，因"湮没"了拟合部分而得名。

定义与残差制造者

考虑线性回归模型 $\mathbf{y} = X\boldsymbol{\beta} + \boldsymbol{\epsilon}$，其中 $X$ 为 $n \times k$ 设计矩阵。投影矩阵（帽子矩阵）为：

湮没矩阵 $M$ 定义为：

其中 $I$ 为 $n \times n$ 单位矩阵。$M$ 被称为"残差制造者" (Residual Maker)，因为：

其中 $\mathbf{e}$ 为 OLS残差向量。$M$ 将任意向量 $\mathbf{y}$ 映射为其在列空间 $\operatorname{Col}(X)$ 的正交补上的投影。

代数性质

湮没矩阵具有以下重要性质：

1. 幂等性：$M^2 = M$。两次湮没等于一次湮没，残差的残差仍是残差本身。
2. 对称性：$M^T = M$。
3. 与投影矩阵正交：$MP = PM = 0$。
4. 零空间：$M$ 将任何属于 $\operatorname{Col}(X)$ 的向量湮没为 $\mathbf{0}$，即 $MX = \mathbf{0}$。
5. 迹与秩：$\operatorname{tr}(M) = \operatorname{rank}(M) = n - k$，即残差自由度为样本量减去参数个数。
6. 与残差方差的关系：在经典假设下，$\operatorname{Var}(\mathbf{e}) = \sigma^2 M$。由于 $M$ 不是标量矩阵，OLS残差具有异方差性，即使真实误差是同方差的。

计量经济学中的应用

湮没矩阵在计量经济学理论推导中扮演关键角色：

• 残差平方和：$\mathbf{e}^T\mathbf{e} = \mathbf{y}^T M \mathbf{y}$。
• $\sigma^2$ 的无偏估计：$s^2 = \dfrac{\mathbf{e}^T\mathbf{e}}{n-k} = \dfrac{\mathbf{y}^T M \mathbf{y}}{n-k}$。
• 分部回归 (Frisch-Waugh-Lovell定理)：在多元回归中，某一变量的偏回归系数可以通过先将所有变量对控制变量回归取残差，再对残差做回归获得。这一过程大量使用湮没矩阵。
• 检验统计量：许多线性假设检验的统计量（如 $F$ 检验）均可表述为两个湮没矩阵变换的二次型之比。

推广

湮没矩阵的概念可推广到一般线性空间中的正交投影。在希尔伯特空间中，任何到闭子空间的正交投影算子 $P$ 都对应一个湮没算子 $M = I - P$。这使湮没矩阵的思想适用于泛函数据分析和非参数回归等更一般的统计框架。