一元线性回归

一元线性回归 (Simple Linear Regression)

一元线性回归是统计学和计量经济学中最基础、最广泛使用的模型之一。它研究两个连续变量之间的线性关系，即用一个自变量 (Independent Variable) 来解释或预测一个因变量 (Dependent Variable) 的变化。

模型的核心假设是自变量 $X$ 和因变量 $Y$ 之间存在线性的、不完美的数学关系，总体回归模型 (Population Regression Model) 表示为：

Y = \beta_0 + \beta_1 X + \epsilon

模型构成要素

为深入理解一元线性回归，需详细解析其每一个组成部分：

因变量 $Y$ ：也称被解释变量、响应变量或结果变量，是我们希望预测或解释的变量。例如，预测一个人的工资水平时，工资即为 $Y$ 。
自变量 $X$ ：也称解释变量、预测变量或协变量，用于解释 $Y$ 的变化。例如，用"受教育年限"来预测工资。
截距 $\beta_0$ ：回归直线在 $Y$ 轴上的截距。统计意义上， $\beta_0$ 代表当 $X = 0$ 时 $Y$ 的期望值 $E(Y|X=0)$ 。需注意，当 $X=0$ 无现实意义时（如身高为 0），截距没有实际解释意义。
斜率 $\beta_1$ ：衡量 $X$ 变化一个单位时 $Y$ 期望值的平均变化量： \[ \beta_1 = \frac{\Delta E(Y|X)}{\Delta X} \] $\beta_1 > 0$ 表示正相关， $\beta_1 < 0$ 表示负相关， $\beta_1 = 0$ 表示无线性关系。斜率是衡量 $X$ 对 $Y$ 影响方向和强度的核心指标。
误差项 $\epsilon$ ：也称扰动项，代表除 $X$ 外所有影响 $Y$ 但未被模型包含的因素总和，包括测量误差、模型设定偏误和纯粹的随机性。误差项的存在承认了 $X$ 与 $Y$ 之间的关系并非完全确定。

参数估计：普通最小二乘法 (OLS)

总体参数 $\beta_0$ 和 $\beta_1$ 未知，需利用样本数据 $\{ (X_i, Y_i), i = 1, \dots, n \}$ 来估计。最常用的方法是普通最小二乘法 (Ordinary Least Squares, OLS)。

OLS 的核心思想是寻找估计值 $\hat{\beta}_0$ 和 $\hat{\beta}_1$ ，使每个观测点的实际值 $Y_i$ 与预测值 $\hat{Y}_i$ 之差（即残差 $e_i$ ）的平方和最小。

预测值由估计的回归方程给出：

\hat{Y}_i = \hat{\beta}_0 + \hat{\beta}_1 X_i

残差为：

e_i = Y_i - \hat{Y}_i = Y_i - (\hat{\beta}_0 + \hat{\beta}_1 X_i)

OLS 目标是最小化残差平方和 (SSR)：

\min_{\hat{\beta}_0, \hat{\beta}_1} SSR = \sum_{i=1}^{n} e_i^2 = \sum_{i=1}^{n} (Y_i - \hat{\beta}_0 - \hat{\beta}_1 X_i)^2

通过微积分求导，可得 $\hat{\beta}_0$ 和 $\hat{\beta}_1$ 的解析解：

斜率估计量 $\hat{\beta}_1$ ：

\hat{\beta}_1 = \frac{\sum_{i=1}^{n}(X_i - \bar{X})(Y_i - \bar{Y})}{\sum_{i=1}^{n}(X_i - \bar{X})^2} = \frac{\text{Cov}(X, Y)}{\text{Var}(X)}

其中 $\bar{X}$ 和 $\bar{Y}$ 分别为 $X$ 和 $Y$ 的样本均值。

截距估计量 $\hat{\beta}_0$ ：

\hat{\beta}_0 = \bar{Y} - \hat{\beta}_1 \bar{X}

该公式表明，OLS 回归直线必然通过样本中心点 $(\bar{X}, \bar{Y})$ 。

经典线性回归模型的假设

OLS 估计量的优良性质（无偏性、有效性）依赖一系列关于误差项和自变量的假设，合称高斯-马尔可夫假设 (Gauss-Markov Assumptions)：

线性于参数：模型 $Y = \beta_0 + \beta_1 X + \epsilon$ 在参数上是线性的。
随机抽样：拥有来自总体的容量为 $n$ 的随机样本。
自变量存在变异：样本中 $X_i$ 值不完全相同，即 $X$ 的样本方差不为零。
误差项的零条件均值： $E(\epsilon | X) = 0$ 。这是最关键的假设，意味着 $X$ 与 $\epsilon$ 不相关。若被违反（如存在遗漏变量偏误），OLS 估计量将是有偏和非一致的。
同方差性 (Homoscedasticity)：对所有 $X$ ， $\epsilon$ 的方差恒为 $\sigma^2$ ，即 $Var(\epsilon | X) = \sigma^2$ 。若方差随 $X$ 变化，则存在异方差性 (Heteroscedasticity)，此时 OLS 不再是最有效的线性无偏估计量，标准误差的估计也会有偏。
无自相关 (No Autocorrelation)： $Cov(\epsilon_i, \epsilon_j | X) = 0$ 对所有 $i \neq j$ 成立。该假设对横截面数据通常成立，但对时间序列数据需特别关注。

当假设 1--5 成立时，OLS 估计量是最佳线性无偏估计量 (BLUE)。

模型拟合优度：决定系数 $R^2$

决定系数 $R^2$ 是衡量模型拟合优度最常用的指标，表示 $Y$ 的总变异中被 $X$ 解释的比例。先定义三个平方和：

总平方和 (TSS)： $TSS = \sum_{i=1}^{n} (Y_i - \bar{Y})^2$ ，衡量 $Y$ 的总变异。
解释平方和 (ESS)： $ESS = \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$ ，衡量模型可解释的变异。
残差平方和 (SSR)： $SSR = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2$ ，衡量模型无法解释的变异。

三者满足 $TSS = ESS + SSR$ 。 $R^2$ 的计算公式为：

R^2 = \frac{ESS}{TSS} = 1 - \frac{SSR}{TSS}

$R^2$ 取值范围为 $[0, 1]$ 。越接近 1，模型解释能力越强。需注意，增加自变量总会使 $R^2$ 不降，因此多元回归中常使用调整后的 $R^2$ (Adjusted $R^2$ ) 来惩罚多余变量。

显著性检验：t 检验

需检验 $X$ 是否对 $Y$ 有统计上显著的影响，通常对 $\beta_1$ 进行假设检验。最常见的 t 检验设定如下：

原假设 $H_0$ ： $\beta_1 = 0$ （ $X$ 对 $Y$ 无线性影响）
备择假设 $H_1$ ： $\beta_1 \neq 0$ （ $X$ 对 $Y$ 有线性影响）

检验统计量为t统计量：

t = \frac{\hat{\beta}_1}{SE(\hat{\beta}_1)}

其中 $SE(\hat{\beta}_1)$ 是斜率估计量的标准误。

根据 t 值和相应的p值 (p-value)，若 p 值小于预设的显著性水平 $\alpha$ （如 0.05 或 0.01），则拒绝 $H_0$ ，认为 $X$ 对 $Y$ 的影响统计上显著。此外，还可构造 $\beta_1$ 的置信区间： $\hat{\beta}_1 \pm t_{\alpha/2, n-2} \cdot SE(\hat{\beta}_1)$ 。

重要提醒：相关不等于因果

一元线性回归可有效揭示变量间的相关性或关联性。然而，统计上显著的回归关系并不等同于因果关系 (Causality)。 $X$ 导致 $Y$ 的因果结论需建立在严格的理论基础、实验设计或高级计量经济学方法（如工具变量法、断点回归、双重差分法等）之上，而非仅凭单一的回归分析结果。混淆相关与因果是实证研究中最常见的谬误之一。

返回百科索引

一元线性回归