统计学习

统计学习 (Statistical Learning)

统计学习是统计学与计算机科学的交叉领域，研究如何从数据中构建预测模型并提取可泛化的规律。与传统统计学侧重统计推断不同，统计学习更关注预测精度与模型选择，核心是在有限样本下平衡拟合程度与模型复杂度。Hastie、Tibshirani 与 Friedman 的《The Elements of Statistical Learning》（2001）奠定了该领域的现代框架。

基本框架

统计学习将数据建模为 $n$ 个独立同分布样本 $(X_i, Y_i)$，其中 $X_i \in \mathcal{X}$ 为 $p$ 维特征向量，$Y_i \in \mathcal{Y}$ 为响应变量。目标是学习映射 $f: \mathcal{X} \to \mathcal{Y}$，使期望损失最小化：$R(f) = \mathbb{E}[L(Y, f(X))]$。由于真实分布未知，$R(f)$ 需用经验风险 $\hat{R}(f) = \frac{1}{n}\sum_{i=1}^n L(y_i, f(x_i))$ 近似。监督学习利用有标签数据学习映射，代表性方法包括线性回归、逻辑回归、支持向量机与随机森林。非监督学习在无标签条件下发现数据的内在结构，常用PCA、K-means与层次聚类。半监督学习结合少量标签与大量无标签数据提升性能。

偏差-方差权衡

偏差-方差权衡是统计学习的核心直觉。对平方损失下的点 $x_0$，测试误差可分解为 $\mathbb{E}[(Y - \hat{f}(x_0))^2] = \text{Bias}^2(\hat{f}(x_0)) + \text{Var}(\hat{f}(x_0)) + \sigma^2$。偏差是模型对真实关系的系统性偏离——欠拟合的根源，高偏差模型过于简单（如用线性回归拟合非线性关系）。方差是模型对训练数据波动的敏感程度——过拟合的根源，高方差模型过于灵活（如深度决策树对噪声过度反应）。不可约误差 $\sigma^2$ 为数据固有噪声，模型无法减少。核心洞见：增加模型复杂度降低偏差必然提升方差，最优模型在二者交叉点取得最小泛化误差。

模型选择与正则化

避免过拟合的关键是控制模型复杂度。正则化在损失函数中添加惩罚项：岭回归（Ridge）使用 $L_2$ 惩罚 $\lambda\sum_j\beta_j^2$，Lasso回归使用 $L_1$ 惩罚 $\lambda\sum_j|\beta_j|$。Lasso 因几何特性可产生稀疏解，实现自动特征选择。交叉验证将数据划分为 $K$ 折，轮流以 $K-1$ 折训练、1 折验证，取 $K$ 次测试误差平均估计泛化性能，$K=5$ 或 $K=10$ 为经验最优。信息准则如AIC与BIC在似然函数基础上对参数数量施以惩罚，BIC 惩罚更重，倾向于选择更简洁的模型。

集成方法

Bagging（Bootstrap Aggregation）对 $B$ 个自助样本各训练一模型后取平均，降低方差而不改变偏差。随机森林在 Bagging 基础上每棵树分裂时仅随机选取 $m \approx \sqrt{p}$ 个特征候选，大幅降低树间相关性。梯度提升（GBM / XGBoost / LightGBM）序贯拟合残差的梯度方向，每一步添加弱树以降低偏差。XGBoost 引入二阶泰勒近似与正则化目标函数，LightGBM 使用单边梯度采样与互斥特征绑定提升训练效率。集成方法的数学直觉：若基学习器误差不相关，集成后方差降为 $1/B$，故随机化（行采样、列采样）是关键技巧。

维数灾难与特征选择

随特征维度 $p$ 增长，数据在高维空间中急速稀疏化，几乎所有样本点落在远离其他点的边缘区域。基于距离的方法（KNN、Kernel）性能剧烈下降，虚假相关性出现概率升高。应对策略包括PCA降维、Lasso 特征选择、领域知识驱动的特征工程及深度学习的表示学习。

实践流程

统计学习实践遵循清晰步骤：问题定义（明确预测目标与评价指标如 MSE、AUC、F1）→ 数据探索（描述性统计、可视化、缺失值与异常值检测）→ 特征工程（编码、缩放、交互项构建）→ 模型选择（在偏差-方差谱上尝试多个候选）→ 交叉验证与调参（网格搜索或贝叶斯优化）→ 独立测试集最终评估 → 部署与监控（持续监测数据漂移与概念漂移）。没有免费的午餐定理指出，没有任何算法在所有问题上优于其他算法，模型选择必须依赖对数据结构的理解与验证集的反馈。