知经 KNOWECON
登录 注册

知经百科 / X

消灭矩阵

消灭矩阵 (Annihilation Matrix)

在计量经济学和线性代数中，消灭矩阵（Annihilation Matrix，也称残差制造矩阵或中心化矩阵的推广）是指在线性回归分析中将任何向量投影到解释变量列空间的正交补空间上的对称幂等矩阵。标准记号为 M\boldsymbol{M}，定义为：

M=In−X(X′X)−1X′\boldsymbol{M} = \boldsymbol{I}_n - \boldsymbol{X}(\boldsymbol{X}'\boldsymbol{X})^{-1}\boldsymbol{X}'

其中 X\boldsymbol{X} 是 n×kn \times k 的设计矩阵，In\boldsymbol{I}_n 是 nn 阶单位矩阵。矩阵 P=X(X′X)−1X′\boldsymbol{P} = \boldsymbol{X}(\boldsymbol{X}'\boldsymbol{X})^{-1}\boldsymbol{X}' 被称为投影矩阵（Projection Matrix）或帽子矩阵，它将向量投影到 X\boldsymbol{X} 的列空间 C(X)C(\boldsymbol{X}) 上；而 M\boldsymbol{M} 则将向量投影到其正交补空间 C(X)⊥C(\boldsymbol{X})^{\perp} 上。因此有 P+M=In\boldsymbol{P} + \boldsymbol{M} = \boldsymbol{I}_n，即任何 nn 维向量都可以唯一地分解为拟合分量与残差分量的和。

核心性质

消灭矩阵具有以下核心代数性质：

  1. 对称性：M′=M\boldsymbol{M}' = \boldsymbol{M}。这源于投影矩阵 P\boldsymbol{P} 的对称性，使得 M\boldsymbol{M} 也是对称矩阵。
  2. 幂等性：M2=M\boldsymbol{M}^2 = \boldsymbol{M}。幂等性是投影算子的定义特征——将残差再次投影到正交补空间，结果不变。同理 P2=P\boldsymbol{P}^2 = \boldsymbol{P}。
  3. 消灭 X\boldsymbol{X}：MX=0\boldsymbol{M}\boldsymbol{X} = \boldsymbol{0}。这是"消灭矩阵"名称的来源——它将设计矩阵的每一个列向量都映射为零向量，即消灭了 X\boldsymbol{X} 的列空间中的一切。
  4. 正交关系：PM=MP=0\boldsymbol{P}\boldsymbol{M} = \boldsymbol{M}\boldsymbol{P} = \boldsymbol{0}。两个投影方向正交，拟合值与残差的内积为零。
  5. 迹与秩：tr⁡(M)=rank⁡(M)=n−k\operatorname{tr}(\boldsymbol{M}) = \operatorname{rank}(\boldsymbol{M}) = n - k。M\boldsymbol{M} 的秩等于残差自由度，其中 kk 个自由度因估计 kk 个参数而丧失。

回归分析中的核心作用

考虑标准普通最小二乘法（OLS）回归：

y=Xβ+u\boldsymbol{y} = \boldsymbol{X}\boldsymbol{\beta} + \boldsymbol{u}

其中 y\boldsymbol{y} 是 n×1n \times 1 的被解释变量向量。OLS 的目标是最小化残差平方和 u′u\boldsymbol{u}'\boldsymbol{u}。利用消灭矩阵，残差向量可以优雅地表示为：

e=y−Xβ^=y−Py=(I−P)y=My\boldsymbol{e} = \boldsymbol{y} - \boldsymbol{X}\hat{\boldsymbol{\beta}} = \boldsymbol{y} - \boldsymbol{P}\boldsymbol{y} = (\boldsymbol{I} - \boldsymbol{P})\boldsymbol{y} = \boldsymbol{M}\boldsymbol{y}

残差平方和（RSS）也因此简洁地写为：

RSS=e′e=y′M′My=y′My\text{RSS} = \boldsymbol{e}'\boldsymbol{e} = \boldsymbol{y}'\boldsymbol{M}'\boldsymbol{M}\boldsymbol{y} = \boldsymbol{y}'\boldsymbol{M}\boldsymbol{y}

最后一个等号利用了 M\boldsymbol{M} 的对称幂等性。进一步地，误差方差的无偏估计量为：

σ^2=y′Myn−k=RSSn−k\hat{\sigma}^2 = \frac{\boldsymbol{y}'\boldsymbol{M}\boldsymbol{y}}{n - k} = \frac{\text{RSS}}{n - k}

弗里施-沃-洛弗尔定理

消灭矩阵在弗里施-沃-洛弗尔定理（Frisch--Waugh--Lowell Theorem, FWL）中扮演关键角色。将设计矩阵分块为 X=[X1,X2]\boldsymbol{X} = [\boldsymbol{X}_1, \boldsymbol{X}_2]，其中 X1\boldsymbol{X}_1 有 k1k_1 列、X2\boldsymbol{X}_2 有 k2k_2 列，令 M1=I−X1(X1′X1)−1X1′\boldsymbol{M}_1 = \boldsymbol{I} - \boldsymbol{X}_1(\boldsymbol{X}_1'\boldsymbol{X}_1)^{-1}\boldsymbol{X}_1' 为"消灭" X1\boldsymbol{X}_1 的矩阵。FWL 定理表明：在完整回归 y\boldsymbol{y} 对 X1,X2\boldsymbol{X}_1, \boldsymbol{X}_2 中，β2\boldsymbol{\beta}_2 的 OLS 估计量等价于将 M1y\boldsymbol{M}_1\boldsymbol{y} 对 M1X2\boldsymbol{M}_1\boldsymbol{X}_2 做回归得到的系数。亦即：

β^2=[(M1X2)′(M1X2)]−1(M1X2)′(M1y)\hat{\boldsymbol{\beta}}_2 = [(\boldsymbol{M}_1\boldsymbol{X}_2)'(\boldsymbol{M}_1\boldsymbol{X}_2)]^{-1}(\boldsymbol{M}_1\boldsymbol{X}_2)'(\boldsymbol{M}_1\boldsymbol{y})

这一分解在理解"控制"变量的含义、去趋势回归以及固定效应面板模型的组内变换中极为有用。

与中心化矩阵的关系

消灭矩阵的一个特例是中心化矩阵 M0=In−1n11′\boldsymbol{M}_0 = \boldsymbol{I}_n - \frac{1}{n}\boldsymbol{1}\boldsymbol{1}'，其中 1\boldsymbol{1} 是全1向量。当设计矩阵只包含截距项（X=1\boldsymbol{X} = \boldsymbol{1}）时，一般消灭矩阵退化为中心化矩阵：M0y\boldsymbol{M}_0\boldsymbol{y} 产生均值为零的离差向量。更普遍地说，在只有截距的回归中，M0\boldsymbol{M}_0 消灭常数列空间，将任何向量转化为该向量与均值的偏差。

拓展：广义最小二乘法与分块消灭

在广义最小二乘法（GLS）框架下，消灭矩阵的概念可推广为 MΩ=Ω−1−Ω−1X(X′Ω−1X)−1X′Ω−1\boldsymbol{M}_{\boldsymbol{\Omega}} = \boldsymbol{\Omega}^{-1} - \boldsymbol{\Omega}^{-1}\boldsymbol{X}(\boldsymbol{X}'\boldsymbol{\Omega}^{-1}\boldsymbol{X})^{-1}\boldsymbol{X}'\boldsymbol{\Omega}^{-1}，其中 Ω\boldsymbol{\Omega} 是误差项的协方差矩阵。在面板数据计量经济学中，对个体效应和时间效应的逐步消灭——通过组内变换（Within Transformation）或一阶差分——是识别因果效应的核心技术，其代数本质均可在消灭矩阵的框架下统一理解。

返回百科索引