简单线性回归

简单线性回归 (Simple Linear Regression)

简单线性回归(SLR)是统计学和计量经济学中最基础的回归分析技术，通过直线模型研究两个连续变量的关系。

模型方程

总体回归函数(PRF)：$E(Y \mid X) = \beta_0 + \beta_1 X$（给定$X$时$Y$的期望值）。实际观测模型：$Y = \beta_0 + \beta_1 X + \varepsilon$。$\beta_0$为截距（$X=0$时$Y$的期望）；$\beta_1$为斜率（$X$每增1单位$Y$期望的平均变化量，符号示关系方向，大小示强度）；$\varepsilon$为误差项（除$X$外所有影响$Y$的因素总和）。

样本回归函数(SRF)：$\hat{Y} = \hat{\beta}_0 + \hat{\beta}_1 X$。OLS估计量：

OLS回归线必经过样本均值点$(\bar{X}, \bar{Y})$。

经典线性回归假定和高斯-马尔可夫定理

假定：参数线性；随机抽样；自变量有变异；误差项零条件均值（$E(\varepsilon \mid X)=0$，无偏性关键）；同方差性；无序列相关；误差项正态性（假设检验所需）。满足前5条→高斯-马尔可夫定理：OLS为最佳线性无偏估计量(BLUE)——所有线性无偏估计量中方差最小。

拟合优度与统计推断

决定系数 $R^2 = ESS/TSS = 1 - RSS/TSS \in [0,1]$，衡量$X$解释$Y$变异的比例。简单线性回归下$R^2 = r^2$（$r$为相关系数）。

对斜率检验：$H_0: \beta_1 = 0$ vs $H_1: \beta_1 \neq 0$。t统计量：$t = \hat{\beta}_1 / \mathrm{se}(\hat{\beta}_1)$（$\mathrm{se}$为标准误）。若p-value < 显著性水平 $\alpha$，拒绝$H_0$。也可构建$\beta_1$的置信区间。

重要提醒

相关不等于因果（可能由遗漏变量驱动或反向因果）；外推风险（模型仅在观测范围内有效）；异常值可扭曲OLS回归线，需预处理。