幂等矩阵

幂等矩阵 (Idempotent Matrix)

幂等矩阵是线性代数中满足 $A^2 = A$ 的方阵 $A$，即矩阵与其自身的乘积等于自身。名称源于"幂等"(idempotent)，指重复作用不改变结果——投影一次与投影两次效果相同。幂等矩阵在计量经济学、统计学和线性回归中扮演核心角色。

定义与基本性质

设 $A \in \mathbb{R}^{n \times n}$，若 $A^2 = A$，则 $A$ 为幂等矩阵。由定义直接可推导：

所有正整数次幂均等于自身。若 $A$ 可逆且幂等，则 $A = I$（单位阵），因为 $A = A^{-1}A^2 = A^{-1}A = I$。因此，非平凡的幂等矩阵必然是奇异矩阵。

特征值与秩

幂等矩阵的特征值只能是 0 或 1。设 $\lambda$ 为 $A$ 的特征值，$\mathbf{v}$ 为对应特征向量：

因此 $\lambda^2 = \lambda$，即 $\lambda \in \{0, 1\}$。

一个重要结论是：幂等矩阵的迹等于其秩：

这是因为迹是特征值之和（每个非零特征值为 1），而秩等于非零特征值的个数。

几何意义：投影矩阵

幂等矩阵的几何本质是投影算子。将 $\mathbb{R}^n$ 分解为 列空间 $C(A)$ 与零空间 $N(A)$：

• 对任意 $\mathbf{y} \in C(A)$，存在 $\mathbf{x}$ 使 $\mathbf{y} = A\mathbf{x}$，于是 $A\mathbf{y} = A^2\mathbf{x} = A\mathbf{x} = \mathbf{y}$——列空间上的向量被固定。
• 对任意 $\mathbf{z} \in N(A)$，$A\mathbf{z} = \mathbf{0}$——零空间上的向量被消灭。

当 $A$ 对称时，投影是正交投影；非对称幂等矩阵对应斜投影。

计量经济学中的核心应用

在线性回归模型 $\mathbf{y} = X\boldsymbol{\beta} + \boldsymbol{\varepsilon}$ 中，两个关键幂等矩阵是：

1. 投影矩阵（帽子矩阵）

它将 $\mathbf{y}$ 投影到 $X$ 的列空间上：$\hat{\mathbf{y}} = P\mathbf{y}$。易验证 $P^2 = P$ 且 $P^T = P$，是对称幂等矩阵。其迹 $\operatorname{tr}(P) = k$（自变量个数）。

2. 残差生成矩阵

它将 $\mathbf{y}$ 映射为残差：$\hat{\boldsymbol{\varepsilon}} = M\mathbf{y}$。同样满足 $M^2 = M$ 且 $M^T = M$。$\operatorname{tr}(M) = n - k$（自由度）。

$P$ 与 $M$ 正交：$PM = P(I-P) = P - P^2 = 0$，体现拟合值与残差的不相关性。

方差分析中的应用

在方差分析(ANOVA)中，总平方和可分解为回归平方和与残差平方和：

利用幂等性，可证明二次型 $\mathbf{y}^T P \mathbf{y}/\sigma^2$ 服从非中心卡方分布，这是 F 检验和 t 检验的分布理论基础。Cochran定理给出了相互独立的幂等二次型分解的条件。

其他性质

• 若 $A$ 幂等，则 $I - A$ 也幂等：$(I-A)^2 = I - 2A + A^2 = I - A$。
• 幂等矩阵的特征值分解：对称幂等矩阵可写为 $A = Q\Lambda Q^T$，其中 $\Lambda = \operatorname{diag}(1,\ldots,1,0,\ldots,0)$。
• $A$ 幂等当且仅当 $\operatorname{rank}(A) + \operatorname{rank}(I - A) = n$。

幂等矩阵将抽象的投影概念代数化，是连接线性代数与统计推断的桥梁。理解其性质对掌握最小二乘估计的几何含义以及假设检验的分布理论至关重要。