OLS的矩阵表示

OLS的矩阵表示 (OLS in Matrix Form)

普通最小二乘法 (OLS) 是计量经济学中最基本的参数估计方法。矩阵表示法提供了处理多元回归模型的简洁工具。

模型的矩阵设定

多元线性模型 $y_i = \beta_0 + \beta_1 x_{i1} + \dots + \beta_k x_{ik} + u_i$（$i=1,\dots,n$）的矩阵形式：

因变量向量 $Y$（$n \times 1$），设计矩阵 $X$（$n \times (k+1)$，第一列全为1对应截距），系数向量 $\beta$（$(k+1) \times 1$），误差向量 $u$（$n \times 1$）：

OLS估计量的推导

最小化残差平方和 $\hat{u} = Y - X\hat{\beta}$：

求梯度并令其为零（一阶条件）：$-2X'Y + 2X'X\hat{\beta} = 0$。得OLS正规方程：

假设无完全多重共线性（$X'X$ 可逆），得OLS估计量：

OLS估计量的方差-协方差矩阵

在高斯-马尔可夫假定下（特别是同方差性 $\mathrm{Var}(u\mid X) = \sigma^2 I_n$）：

这是一个优美结果：方差-协方差矩阵与 $\sigma^2$ 和数据结构 $(X'X)^{-1}$ 直接相关。实践中 $\sigma^2$ 用其无偏估计量 $\hat{\sigma}^2 = \mathrm{SSR}/(n-k-1)$ 代替。

计算示例

4组数据：$x = [1,2,4,5]$, $y = [2,3,6,7]$。拟合 $y = \beta_0 + \beta_1 x$。

$X'X = \begin{pmatrix} 4 & 12 \\ 12 & 46 \end{pmatrix}$, $X'Y = \begin{pmatrix} 18 \\ 67 \end{pmatrix}$

$(X'X)^{-1} = \begin{pmatrix} 1.15 & -0.3 \\ -0.3 & 0.1 \end{pmatrix}$, $\hat{\beta} = \begin{pmatrix} 0.6 \\ 1.3 \end{pmatrix}$

回归方程：$\hat{y} = 0.6 + 1.3x$。

OLS的矩阵表示是现代计量分析的通用语言，所有主流统计软件底层都基于矩阵运算执行回归分析。