OLS估计量的方差计算

OLS估计量的方差计算

OLS估计量的方差衡量不同样本下估计值围绕真实值的波动程度——评估可靠性/精度的关键指标。基于高斯-马尔可夫假设（线性、随机抽样、自变量样本变异、零条件均值、同方差性、无序列相关）。

简单线性回归

模型：$y_i = \beta_0 + \beta_1 x_i + u_i$。推导 $\hat{\beta}_1 = \beta_1 + \sum (x_i - \bar{x})u_i / \mathrm{SST}_x$。

斜率方差（同方差性下）：

误差方差 $\sigma^2$↑→估计精度↓；$\mathrm{SST}_x$↑（$x$越分散）→方差↓（估计更精确）。增加样本量 $n$ 也增大 $\mathrm{SST}_x$。

截距方差：

$\bar{x}$ 离0越远→截距估计为外推→不确定性↑。

误差方差估计与标准误

$\sigma^2$ 的无偏估计：$\hat{\sigma}^2 = \sum \hat{u}_i^2 / (n-k-1)$（简单回归分母 $n-2$，对应自由度）。$\hat{\sigma}$ 为回归标准误(SER)。

标准误：$\mathrm{se}(\hat{\beta}_1) = \hat{\sigma} / \sqrt{\sum (x_i - \bar{x})^2}$；$\mathrm{se}(\hat{\beta}_0) = \sqrt{\hat{\sigma}^2(1/n + \bar{x}^2/\mathrm{SST}_x)}$。标准误是假设检验（t检验）和置信区间的基础。

多元线性回归

矩阵形式：$\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \mathbf{u}$，$\hat{\boldsymbol{\beta}} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}$。方差-协方差矩阵：$\mathrm{Var}(\hat{\boldsymbol{\beta}} \mid \mathbf{X}) = \sigma^2 (\mathbf{X}'\mathbf{X})^{-1}$。对第 $j$ 个斜率：

揭示多重共线性：当 $x_j$ 被其他解释变量高度拟合时 $R_j^2 \to 1$，方差急剧增大（方差膨胀）。方差膨胀因子 $\mathrm{VIF}_j = 1/(1-R_j^2)$。