残差投影

残差投影 (Residual Projection)

残差投影→计量/统计→线性回归推导→OL残差向量是因变向量在与解释变量张成空间正交子空间投影。模$Y=X\beta+u$→OLS$\hat{\beta}=(X'X)^{-1}X'Y$→拟合值$\hat{Y}=PY$，其中$P=X(X'X)^{-1}X'$=投影矩阵/帽子矩阵→对称$P'=P$+幂等$PP=P$→将$Y$正交投影到$X$列空col(X)。

残差：$\hat{u}=Y-\hat{Y}=(I-P)Y=MY$→$M=I-X(X'X)^{-1}X'$=残差生成矩阵/湮灭矩阵→亦对称幂等→将$Y$投到col(X)正补子空。

核心性质

湮灭性：$MX=(I-P)X=X-X=0$→故$X'\hat{u}=X'MY=(MX)'Y=0$→残差与解释变量正交。若含截距→$\sum\hat{u}_i=0$→每解释变与残差协方差为0。秩/自由度：$\mathrm{rank}(P)=k$，$\mathrm{rank}(M)=n-k$→即残差自由度→无偏方差估计$\hat{\sigma}^2=\hat{u}'\hat{u}/(n-k)$→分母$n-k$源于残差投影矩阵秩。

FWL定理基：$Y=X_1\beta_1+X_2\beta_2+u$→三步：①Y对X₂回得残差$M_2Y$→②X₁每列对X₂回得残差$M_2X_1$→③$M_2Y$对$M_2X_1$回→系数=原$\hat{\beta}_1$→残差投影为数基。核→残差投影=OLS化$最小化问题$为几何投影→拟值=Y在col(X)影→残差=Y在正补影→生核性(正交性)→为FWL等深理供基。