最小二乘估计量

最小二乘估计量 (Least Squares Estimator)

最小二乘估=统计/计量最基本估法→最小化观测值与预值差异平方和→求未知参→得OLS→线性回归标准。原：最小化残差平方和→简单回归$Y_i=\beta_0+\beta_1X_i+\epsilon_i$→拟$\hat{Y}_i=\hat{\beta}_0+\hat{\beta}_1X_i$→残$e_i=Y_i-\hat{Y}_i$→SSR=$\sum e_i^2$→求导令零→正规方程。

解：$\hat{\beta}_1=\sum(X_i-\bar{X})(Y_i-\bar{Y})/\sum(X_i-\bar{X})^2=Cov(X,Y)/Var(X)$→$\hat{\beta}_0=\bar{Y}-\hat{\beta}_1\bar{X}$。

性质与推广

高斯-马尔可夫：在高斯-马尔可夫假设下→OLS是BLUE→最佳(最小方差→抽分布最集→精最)、线性(Y的线函)、无偏($E(\hat{\beta}_j)=\beta_j$→反复抽样均等于真)。样本容无大→一致性（概率收敛于真）。

几何：n维→观向量y→拟向量$\hat{y}$→残向e→自变张子空间→OLS=找$\hat{y}$在子空间使距y最近→残平=$\|y-\hat{y}\|^2$→$\hat{y}$=y在子空间正交投影→残e与子空间⊥。

多元推广：$y=X\beta+\epsilon$→SSR=$(y-X\hat{\beta})'(y-X\hat{\beta})$→最小化→$\hat{\beta}=(X'X)^{-1}X'y$→计量/线性模型论最核心结果。