自变量观测向量

自变量观测向量

自变量观测向量（Vector of Observations on Independent Variables）是线性回归模型中用于描述第 $i$ 个观测样本的所有自变量的列向量，通常记为 $\mathbf{x}_i$。在经典回归模型 $y_i = \mathbf{x}_i' \boldsymbol{\beta} + \varepsilon_i$ 中，$\mathbf{x}_i$ 被视为设计矩阵 $\mathbf{X}$ 的第 $i$ 行（以列向量转置参与运算），其元素构成了因变量 $y_i$ 的线性预测因子。该向量既承载了模型设定的函数形式，也直接决定了参数估计、统计推断与预测评估的代数结构。

定义与符号约定

对于包含 $k$ 个自变量（解释变量）的多重线性回归模型，当收集到 $n$ 组独立同分布样本 $\{ (y_i, x_{i1}, x_{i2}, \dots, x_{ik}) \}_{i=1}^n$ 后，第 $i$ 个观测的自变量观测向量定义为：

其中第一个元素固定为 1，对应截距项 $\beta_0$。所有观测的自变量观测向量按行堆叠即构成设计矩阵（Design Matrix）$\mathbf{X}$：

=

\]

在矩阵表示的回归模型 $\mathbf{y} = \mathbf{X} \boldsymbol{\beta} + \boldsymbol{\varepsilon}$ 中，$\mathbf{y}$ 为因变量观测向量（$n \times 1$），$\boldsymbol{\beta} = (\beta_0, \beta_1, \dots, \beta_k)'$ 为参数向量，$\boldsymbol{\varepsilon}$ 为误差向量。$\mathbf{x}_i'$ 作为 $\mathbf{X}$ 的第 $i$ 行，负责将参数向量映射到第 $i$ 个观测的线性预测值 $\hat{y}_i = \mathbf{x}_i' \hat{\boldsymbol{\beta}}$。该向量是联系个体观测数据与总体参数之间的基本桥梁。

在OLS估计中的核心作用

普通最小二乘法（OLS）是求解回归参数的标准方法，自变量观测向量在其中扮演核心角色。

正规方程的导出

OLS 的目标是极小化残差平方和 $\sum_{i=1}^n (y_i - \mathbf{x}_i' \boldsymbol{\beta})^2$。取梯度并令其为零，得到一阶条件：

即自变量观测向量与残差的正交关系：

写成矩阵形式即 $\mathbf{X}' (\mathbf{y} - \mathbf{X} \hat{\boldsymbol{\beta}}) = \mathbf{0}$，得到正规方程（Normal Equations）：

当 $\mathbf{X}' \mathbf{X}$ 可逆（即设计矩阵列满秩）时，OLS估计量的闭式解为：

该表达式中，$\mathbf{X}' \mathbf{X}$ 是各对自变量观测向量的内积矩阵，其可逆性等价于不存在严格的多重共线性。

高斯-马尔可夫定理

高斯-马尔可夫定理（Gauss-Markov Theorem）确立了OLS在线性无偏估计类中的最优性。在给定自变量观测矩阵 $\mathbf{X}$ 的条件下，若误差项满足零条件均值（$\mathbb{E}[\boldsymbol{\varepsilon} \mid \mathbf{X}] = 0$）和同方差性（$\operatorname{Var}[\boldsymbol{\varepsilon} \mid \mathbf{X}] = \sigma^2 \mathbf{I}_n$），则在所有线性无偏估计量中，OLS估计量 $\hat{\boldsymbol{\beta}} = (\mathbf{X}' \mathbf{X})^{-1} \mathbf{X}' \mathbf{y}$ 的方差最小，即BLUE（Best Linear Unbiased Estimator）。该定理不依赖于具体的分布假设，仅依赖于自变量观测向量的二阶矩结构。

帽子矩阵与杠杆值

自变量观测向量还定义了OLS的几何投影解释。帽子矩阵（Hat Matrix）为：

其对角元 $h_{ii} = \mathbf{x}_i' (\mathbf{X}' \mathbf{X})^{-1} \mathbf{x}_i$ 度量第 $i$ 个观测的"杠杆值"（Leverage），反映了该观测的自变量取值在参数估计中的影响力。高杠杆点（通常以 $h_{ii} > 2(k+1)/n$ 为预警阈值）对回归系数的拟合具有不成比例的影响，是回归诊断中识别异常观测的重要指标。杠杆值的和为 $\sum_{i=1}^n h_{ii} = k+1$，即参数个数，这意味着杠杆值在不同观测间呈零和博弈式的分布。

预测与区间估计

给定新的自变量观测向量 $\mathbf{x}_{\text{new}}$（已包含截距项1），OLS的条件期望预测（点预测）为：

其抽样方差为：

该方差的形式揭示了预测精度的关键决定因素：它既依赖于总体噪声水平 $\sigma^2$，也依赖于 $\mathbf{x}_{\text{new}}' (\mathbf{X}' \mathbf{X})^{-1} \mathbf{x}_{\text{new}}$，后者可解释为新观测的自变量向量到已有样本自变量空间中心的一种马氏距离（Mahalanobis Distance）。离样本中心越远的 $\mathbf{x}_{\text{new}}$，其预测方差越大，预测区间越宽。这一性质与外推（Extrapolation）风险的直觉完全一致：在已有数据支持范围之外进行预测时，不确定性必然增大。

基于此，因变量在 $\mathbf{x}_{\text{new}}$ 处的 $100(1-\alpha)\%$ 预测区间为：

假设检验中的角色

在经典的t检验和F检验中，自变量观测向量构成的自变量观测矩阵 $\mathbf{X}$ 通过其叉积矩阵 $\mathbf{X}' \mathbf{X}$ 直接影响估计量的方差-协方差矩阵：

因此，单个回归系数 $\hat{\beta}_j$ 的标准误为：

这意味着自变量之间的相关性结构——体现在 $(\mathbf{X}' \mathbf{X})^{-1}$ 的对角元大小——直接决定了参数推断的统计效力。当自变量间高度相关时，方差膨胀因子（VIF）增大，标准误膨胀，t统计量缩小，假设检验的势（Power）随之降低。在极端情形下，严重的多重共线性甚至使个别系数的符号与大小在经济意义上失去解释力，尽管模型的整体拟合优度可能仍然很高。

自变量观测向量的变换

在实际建模中，原始自变量观测向量经常经历各种变换以适配不同的分析目标：

标准化（Standardization）：对第 $j$ 个自变量，计算 $\tilde{x}_{ij} = (x_{ij} - \bar{x}_j) / s_j$，其中 $\bar{x}_j$ 和 $s_j$ 分别为样本均值和标准差。标准化后的自变量观测向量消除了量纲差异，使得回归系数可直接比较——标准化系数（Beta系数）度量的是自变量一个标准差变化所引起的因变量标准差变化量。

多项式扩展（Polynomial Expansion）：对原始自变量构造非线性项，扩展后的自变量观测向量为 $\mathbf{x}_i = (1, x_i, x_i^2, \dots, x_i^p)'$，使得线性回归框架能够拟合曲率关系。此时，各阶项的系数需谨慎解读：边际效应不再是单一系数，而是 $\partial y / \partial x = \beta_1 + 2\beta_2 x + \cdots + p\beta_p x^{p-1}$。

交互项（Interaction Terms）：当研究者假设一个自变量的边际效应依赖于另一个自变量的水平时，构造交互项 $x_{i1} \cdot x_{i2}$ 作为新自变量加入向量。含交互项的观测向量为 $\mathbf{x}_i = (1, x_{i1}, x_{i2}, x_{i1}x_{i2})'$。交互项的系数 $\beta_{12}$ 衡量了交叉偏导数 $\partial^2 y / (\partial x_1 \partial x_2)$，其统计显著性检验了效应异质性假说。

与相关概念的辨析

自变量观测向量需与以下几个紧密关联但含义不同的概念明确区分：

• 因变量观测向量 $\mathbf{y}$：$n \times 1$ 列向量，包含所有观测的因变量值，位于回归方程左端，是回归分析中被解释的目标。
• 自变量列向量 $\mathbf{x}^{(j)} = (x_{1j}, x_{2j}, \dots, x_{nj})'$：设计矩阵 $\mathbf{X}$ 的第 $j$ 列，包含第 $j$ 个自变量在所有 $n$ 个观测上的取值。自变量观测向量 $\mathbf{x}_i$ 是"行视角"，注重个体层面的综合信息；自变量列向量 $\mathbf{x}^{(j)}$ 是"列视角"，注重变量层面的跨个体分布。二者在数学上满足 $\mathbf{X}_{[i,:]} = \mathbf{x}_i'$ 和 $\mathbf{X}_{[:,j]} = \mathbf{x}^{(j)}$。
• 协方差矩阵 $\hat{\Sigma}_X = \frac{1}{n} \tilde{\mathbf{X}}' \tilde{\mathbf{X}}$（其中 $\tilde{\mathbf{X}}$ 为中心化后的设计矩阵）：描述自变量之间的样本二阶矩结构，其特征值分布决定了多重共线性的严重程度。条件数 $\kappa(\hat{\Sigma}_X)$ 是度量共线性程度的常用指标。

结语

自变量观测向量 $\mathbf{x}_i$ 是线性代数与统计建模的交汇点。它以简洁的向量形式封装了一个观测样本中含截距项的所有预测信息，贯穿于参数估计（正规方程）、拟合诊断（帽子矩阵与杠杆值）、统计推断（标准误与假设检验）和预测评估（预测区间）的每一个环节。从 $\mathbf{x}_i$ 出发，整个 OLS 理论体系——从高斯-马尔可夫定理到沃尔德检验，从方差分析到模型诊断——均可获得统一的矩阵代数表达。深刻理解这一向量的定义、变换及其在叉积矩阵 $\mathbf{X}' \mathbf{X}$ 中的角色，是掌握线性回归模型从理论推导到实证应用的必要起点。