对称幂等矩阵

对称幂等矩阵 (Symmetric Idempotent Matrix)

对称幂等矩阵 (Symmetric Idempotent Matrix) 是一类同时满足对称性 (Symmetry) 与幂等性 (Idempotence) 的重要矩阵。具体而言，若矩阵 $A \in \mathbb{R}^{n \times n}$ 满足 $A^{\top} = A$（对称）且 $A^{2} = A$（幂等），则称 $A$ 为对称幂等矩阵。这类矩阵在数理统计、计量经济学、线性代数及优化理论中具有核心地位，其最本质的直观解释是：对称幂等矩阵即为正交投影矩阵——它将任意向量投影到某个子空间上。

定义与基本性质

设 $A \in \mathbb{R}^{n \times n}$ 为对称幂等矩阵，则以下性质恒成立：

• 投影性：对任意向量 $\mathbf{x} \in \mathbb{R}^{n}$，$A\mathbf{x}$ 是 $\mathbf{x}$ 在 $\text{Col}(A)$（$A$ 的列空间）上的正交投影。
• 特征值仅为 0 或 1：由 $A^{2}=A$ 可知 $A$ 的特征多项式仅含根 0 和 1；由 $A^{\top}=A$ 可知 $A$ 可正交对角化，因此存在正交矩阵 $Q$ 使得 $A = Q\Lambda Q^{\top}$，其中 $\Lambda = \text{diag}(1,\ldots,1,0,\ldots,0)$。
• 秩等于迹：$\text{rank}(A) = \text{tr}(A)$。因为迹等于特征值之和，而特征值非 0 即 1，故非零特征值的个数（即秩）恰好等于迹。
• 幂等补：$I_{n} - A$ 也是对称幂等矩阵，它投影到 $\text{Col}(A)$ 的正交补空间 $\text{Col}(A)^{\perp}$ 上，且 $\text{rank}(I_{n} - A) = n - \text{rank}(A)$。
• 半正定性：对任意 $\mathbf{x} \in \mathbb{R}^{n}$，$\mathbf{x}^{\top}A\mathbf{x} = \mathbf{x}^{\top}A^{2}\mathbf{x} = \mathbf{x}^{\top}A^{\top}A\mathbf{x} = \|A\mathbf{x}\|^{2} \ge 0$，因此 $A$ 是半正定矩阵 (Positive Semidefinite Matrix)。

谱分解与几何含义

对称幂等矩阵的谱分解揭示了其最深刻的几何内涵。由谱定理，存在正交矩阵 $Q$ 使得：

其中 $r = \text{rank}(A)$。若记 $Q = [Q_{1} \; Q_{2}]$，$Q_{1} \in \mathbb{R}^{n \times r}$，则 $A = Q_{1}Q_{1}^{\top}$，而 $Q_{1}$ 的列张成了 $\text{Col}(A)$ 的一组标准正交基。因此，$A\mathbf{x} = Q_{1}Q_{1}^{\top}\mathbf{x}$ 正是将 $\mathbf{x}$ 向 $\text{Col}(A)$ 作正交投影的表达式。

这一定理表明：任何一个对称幂等矩阵都唯一地对应于一个投影子空间（即其列空间），且该投影是正交的。反过来，给定任意一个子空间 $V \subseteq \mathbb{R}^{n}$，存在唯一一个对称幂等矩阵 $P_{V}$ 使得 $\text{Col}(P_{V}) = V$，该矩阵即为向 $V$ 的正交投影矩阵。

在统计学中的核心地位

对称幂等矩阵在数理统计与计量经济学中扮演着不可替代的角色，主要体现在以下三方面。

二次型的分布

设 $\mathbf{y} \sim N(\mathbf{0}, \sigma^{2}I_{n})$ 为标准正态向量，$A$ 为对称幂等矩阵。则二次型 $\mathbf{y}^{\top}A\mathbf{y} / \sigma^{2} \sim \chi^{2}_{\text{rank}(A)}$，即服从自由度为 $\text{rank}(A)$ 的卡方分布。这一定理是方差分析 (ANOVA) 和回归诊断的数学基础。

Cochran 定理

Cochran 定理 (Cochran's Theorem) 是方差分析的基石。设 $\mathbf{y} \sim N(\boldsymbol{\mu}, \sigma^{2}I_{n})$，且 $A_{1}, A_{2}, \ldots, A_{k}$ 为对称幂等矩阵，满足 $\sum_{i=1}^{k} A_{i} = I_{n}$。则以下三个条件等价：各 $A_{i}$ 两两正交（即 $A_{i}A_{j}=0$ 对 $i \neq j$）、各二次型 $\mathbf{y}^{\top}A_{i}\mathbf{y}$ 相互独立、各 $\mathbf{y}^{\top}A_{i}\mathbf{y}/\sigma^{2}$ 服从自由度为 $\text{rank}(A_{i})$ 的卡方分布。这为分割总平方和并检验各效应的显著性提供了严格的数学依据。

最小二乘估计与投影

在多元线性回归 $\mathbf{y} = X\boldsymbol{\beta} + \boldsymbol{\varepsilon}$ 中，普通最小二乘估计的\hat{$\boldsymbol{\beta}$}对应的拟合值 $\hat{\mathbf{y}} = X(X^{\top}X)^{-1}X^{\top}\mathbf{y}$。其中帽子矩阵 $H = X(X^{\top}X)^{-1}X^{\top}$ 是一个对称幂等矩阵，它代表将观测向量 $\mathbf{y}$ 投影到 $X$ 的列空间（即模型空间）上的正交投影。类似地，残差向量 $\hat{\boldsymbol{\varepsilon}} = \mathbf{y} - \hat{\mathbf{y}} = (I_{n} - H)\mathbf{y}$ 的投影矩阵 $I_{n} - H$ 也是对称幂等矩阵，它投影到模型空间的正交补（即残差空间）上。残差平方和 $\hat{\boldsymbol{\varepsilon}}^{\top}\hat{\boldsymbol{\varepsilon}} = \mathbf{y}^{\top}(I_{n} - H)\mathbf{y}$ 正是使用对称幂等矩阵构造的二次型，其分布性质（在正态假设下服从卡方分布）支撑了整个回归推断体系。

矩阵运算中的封闭性

对称幂等矩阵在若干矩阵运算下保持封闭：

• 正交补：若 $A$ 对称幂等，则 $I - A$ 亦然。
• 直和：若 $A$ 与 $B$ 对称幂等且 $AB = 0$（即投影到正交子空间），则 $A + B$ 也是对称幂等矩阵，且 $\text{rank}(A+B) = \text{rank}(A) + \text{rank}(B)$。
• Kronecker 积：若 $A$ 与 $B$ 对称幂等，则 $A \otimes B$ 亦对称幂等，其秩为 $\text{rank}(A)\text{rank}(B)$。

此外，对称幂等矩阵的Frobenius 内积具有简洁表达：$\langle A, B \rangle_{F} = \text{tr}(A^{\top}B) = \text{tr}(AB)$。若 $A$ 与 $B$ 投影到正交子空间，则 $\text{tr}(AB) = 0$。

与广义逆矩阵的关系

对称幂等矩阵与Moore-Penrose 广义逆 (Moore-Penrose Pseudoinverse) 密切相关。事实上，若 $A$ 为对称幂等矩阵，则 $A$ 自身就是其自身的广义逆：$A = A^{+}$。更一般地，对于任意实矩阵 $X$，对称幂等矩阵 $X(X^{\top}X)^{-1}X^{\top}$ 和 $I - X(X^{\top}X)^{-1}X^{\top}$ 分别对应 $X$ 的列空间及其正交补上的投影。

简单示例

考虑矩阵：

易验 $A^{\top}=A$ 且 $A^{2}=A$，故 $A$ 为对称幂等矩阵。其秩为 2，迹也为 2；特征值为 $1,1,0$。该矩阵将 $\mathbb{R}^{3}$ 中的任意向量投影到平面 $x_{1}+x_{2}+x_{3}=0$ 上。$I_{3}-A = \frac{1}{3}\begin{pmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{pmatrix}$ 则投影到该平面的法向量方向 $(1,1,1)^{\top}$ 上。

总体而言，对称幂等矩阵以其简洁的定义和丰富的数学结构，成为连接线性代数、几何直观与统计推断的关键桥梁。从最小二乘投影到卡方分布理论，从方差分析到主成分分析，这类矩阵为现代数据分析提供了不可或缺的理论工具。