回归系数

回归系数

回归系数是回归分析核心，量化自变量与因变量关系，衡量其他变量不变时自变量每变一单位因变量期望的平均变化量。

简单与多元回归

简单：$Y = \beta_0 + \beta_1 X + \epsilon$。$\beta_1$大于零为正向关系，小于零为负向关系。例：$\hat{Y}=40+5.5X$表示每多学一小时平均涨5.5分。

多元：$Y = \beta_0 + \beta_1 X_1 + \dots + \beta_k X_k + \epsilon$。系数解释须ceteris paribus（保持其他所有自变量恒定），以分离单个自变量的"纯粹"影响。例：房价预测中面积系数$\beta_1$在控制房间数后能隔离两相关变量的交叉效应。

估计与推断

OLS：最小化残差平方和 $\text{SSR} = \sum(y_i - \hat{y}_i)^2$。简单回归公式：$\hat{\beta}_1 = \sum(x_i-\bar{x})(y_i-\bar{y}) / \sum(x_i-\bar{x})^2 = \mathrm{Cov}(X,Y)/\mathrm{Var}(X)$。多元需矩阵代数。

统计推断：标准误 $\mathrm{SE}(\hat{\beta}_j)$衡量估计量围绕真值波动。t检验 $H_0$ 为 $\beta_j=0$，$t = \hat{\beta}_j / \mathrm{SE}(\hat{\beta}_j)$，比较t分布临界值计算p值（若p小于$\alpha$则拒$H_0$为显著）。置信区间：$\hat{\beta}_j \pm t_{\alpha/2, n-k-1} \cdot \mathrm{SE}(\hat{\beta}_j)$（若不含0则显著）。

标准化系数

贝塔系数：所有变量标准化（减均值除标准差）后再回归，$\beta_j^*$含义为其他变量不变时自变量每增一标准差因变量平均变$\beta_j^*$标准差。优势：所有变量同尺度（标准差单位）可直接比较不同变量对因变量的相对影响力。注意：相关不等于因果、模型设定敏感、线性假设、多重共线性（自变量高度相关致标准误增大估计不稳定）。