残差与拟合值正交

残差与拟合值正交

OLS估计产生的根本数学性质→残差向量e与拟合值向量$\hat{Y}$在几何上正交（点积=0）→非统计假设→OLS最小化残差平方和的直接代数结果→理解回归几何/ANOVA/$R^2$关键。

证明：OLS正规方程→$X'(Y-X\hat{\beta})=0$→$X'e=0$（残差与X每列皆正交→含常数项）。$\hat{Y}=X\hat{\beta}$→$\hat{Y}'e=\hat{\beta}'X'e=\hat{\beta}·0=0$→拟合值与残差正交得证。

几何解释与意义

几何：Y为n维向量→X的列空间C(X)为子空间→OLS找C(X)中最近Y的点=正交投影→投影点=$\hat{Y}$→残差e=Y-$\hat{Y}$垂直于C(X)→e垂直于$\hat{Y}$。

投影矩阵/帽子矩阵P=X$(X'X)^{-1}$X'→幂等→$\hat{Y}=PY$→$e=(I-P)Y$→$\hat{Y}'e=Y'P(I-P)Y=Y'(P-P^2)Y=0$。

方差分解：正交性保证TSS=ESS+RSS→决定系数$R^2=ESS/TSS$。

属性非假设：正交是OLS数学结果（非高斯-马尔可夫假设）→无论模设正确否/误差是否同方差→用OLS→e垂直于$\hat{Y}$总成立。注意：可观测残差e不等于不可观误差项$\epsilon$→不保证$\epsilon$垂直于$\hat{Y}$。