KNOWECON WIKI

ARTICLE

在线学习

在线学习 (Online Learning) 在线学习 (Online Learning) 是一种机器学习范式，其中模型以逐步、顺序的方式从数据流中学习：每到达一个新的数据点（或一个小批次），模型立即更新其参数，然后丢弃该数据。这与传统的批处理学习（或离线学习）形成对比：批处理学习要求一次性加载全部训练数据，在整个训练集上优化模型。 在线学习的核心特征是"一

浏览 0 更新 2026-01-11

在线学习 (Online Learning)

在线学习 (Online Learning) 是一种机器学习范式，其中模型以逐步、顺序的方式从数据流中学习：每到达一个新的数据点（或一个小批次），模型立即更新其参数，然后丢弃该数据。这与传统的批处理学习（或离线学习）形成对比：批处理学习要求一次性加载全部训练数据，在整个训练集上优化模型。

在线学习的核心特征是"一次一个样本"的更新方式。在时刻 t t ，学习者接收输入 xt x_t ，给出预测 y^t \hat{y}_t ，随后观测到真实输出 yt y_t ，并基于损失 ℓ(y^t,yt) \ell(\hat{y}_t, y_t) 更新模型参数，再进入 t+1 t+1 轮次。这种逐步更新的机制使得在线学习能够处理无限长的数据流，因为每一轮计算仅与模型参数规模相关，而与历史数据量无关。

核心动机与适用场景

  1. 数据规模过大：当数据集规模超出内存或存储容量时，在线学习是唯一可行的方案。模型只需在内存中维护当前参数，无需存储历史数据。现代互联网公司每天产生 TB 级别的日志数据，批处理学习难以应对这样的规模。
  2. 数据流场景：数据以流的形式不断产生（如传感器数据、金融交易数据、网络点击流），必须实时处理并即时更新模型。金融市场的逐笔交易数据就是典型例子，每一笔订单到达后需要立刻用于模型更新。
  3. 概念漂移 (Concept Drift)：数据的统计分布随时间变化（如用户偏好变化、市场风格切换），在线学习能持续适应新分布，而批处理模型则需重新训练。例如电商推荐系统中，用户在不同季节的购物偏好会变化，在线学习能够无缝追踪这些变化。
  4. 时间敏感性：需要模型即时反映最新信息（如股票价格预测、推荐系统在线更新）。新闻推荐的点击率模型必须实时反映热点事件对用户行为的影响，延迟几分钟都可能导致推荐质量下降。

主要算法

最常见的在线学习算法是随机梯度下降 (Stochastic Gradient Descent, SGD)。标准的 SGD 更新规则为：

θt+1=θt−ηt∇θℓ(f(xt;θt),yt)\theta_{t+1} = \theta_t - \eta_t \nabla_\theta \ell(f(x_t; \theta_t), y_t)

其中 ηt \eta_t 是学习率。SGD 本质上就是一种在线学习算法，每次只用一个样本更新模型，因此天然适合数据流场景。在实际部署中，SGD 通常配合学习率衰减策略使用，如 ηt=η0/t \eta_t = \eta_0 / \sqrt{t} 或指数衰减。

其他典型算法包括：

  • 感知机 (Perceptron)：仅当预测错误时才更新权重，是最经典的在线线性分类器。感知机更新规则简单高效：θt+1=θt+ytxt \theta_{t+1} = \theta_t + y_t x_t （当 y^t≠yt \hat{y}_t \neq y_t 时），收敛性由数据线性可分性保证。
  • 在线被动-激进算法 (Passive-Aggressive, PA)：在正确分类的前提下尽量保持模型稳定，错误越大更新越激进。PA 算法有三类变体——PA-I、PA-II 和 PA-III，分别对应不同的松弛策略，适用于含噪声的数据场景。
  • FTRL (Follow-the-Regularized-Leader)：在大规模逻辑回归中广泛使用，如 Google 的点击率预测系统，兼具稀疏性和在线性。FTRL 通过添加 L1 正则化实现特征层面的稀疏解，使模型在生产环境中仅需加载非零权重，大幅降低内存占用。
  • 在线凸优化 (Online Convex Optimization)：将在线学习视为一连串凸优化问题，提供了统一的理论框架。在线梯度下降 (OGD) 和在线镜像下降 (OMD) 是该框架下的两个核心算法，适用不同几何结构的假设空间。

核心理论：遗憾 (Regret)

在线学习的理论分析以遗憾 (Regret) 为核心概念。遗憾衡量在线算法在整个 T T 轮中的累积损失，与事后最优固定参数的损失之间的差距：

RegretT=∑t=1Tℓ(f(xt;θt),yt)−min⁡θ∗∑t=1Tℓ(f(xt;θ∗),yt)\text{Regret}_T = \sum_{t=1}^T \ell(f(x_t; \theta_t), y_t) - \min_{\theta^*} \sum_{t=1}^T \ell(f(x_t; \theta^*), y_t)

一个算法被称为"无遗憾"(no-regret) 的，当 lim⁡T→∞RegretTT=0 \lim_{T \to \infty} \frac{\text{Regret}_T}{T} = 0 ，即平均每轮的遗憾趋于零。随机梯度下降和许多在线凸优化算法都满足无遗憾性质。对于凸损失函数，在线梯度下降的遗憾上界为 O(T) O(\sqrt{T}) ，这是在线学习中最重要的理论结果之一。更强的遗憾概念包括动态遗憾和自适应遗憾，前者允许与逐轮变化的最优解比较，后者则自动适应数据的复杂度。

优势与局限

优势：

  • 计算效率：每次更新仅处理一个样本，每个样本只需一次梯度计算，总计算量 O(T) O(T) 。对于 TB 级数据集，在线学习的计算成本远低于批处理的多次扫描。
  • 内存效率：无需存储训练集，仅需维护模型参数，这使得模型容量可以远大于可用内存。
  • 适应性强：自动适应概念漂移，无需重新训练，特别适合非平稳环境。
  • 易于实现：算法结构简单，适合部署在流处理系统中，如 Apache Kafka 和 Flink 等流计算框架。

局限：

  • 收敛速度：单次更新噪声大，收敛路径震荡，可能不如批处理方法稳定。实践中常采用小批次 (mini-batch) 的方式在效率和稳定性之间取得平衡。
  • 样本顺序敏感性：如果数据到达顺序不是随机的（如按类别分组到达），可能损害收敛质量。在流式场景中可以通过 Shuffle Buffer 部分缓解这一问题。
  • 超参数调优困难：学习率衰减策略的调优比批处理更复杂，需要平衡新信息吸收速度与模型稳定性。常用的策略包括阶梯衰减和基于验证集的在线调参。
  • 灾难性遗忘：在非平稳环境中，模型可能过度适应新数据而遗忘长期稳定的模式。弹性权重巩固 (Elastic Weight Consolidation) 等持续学习方法可部分缓解此问题。

与相关概念的关系

  • 随机梯度下降：是在线学习最主要的实现工具，二者等价性极高。实际上，很多在线学习研究直接使用 SGD 作为基准算法。
  • 增量学习 (Incremental Learning)：含义相近，但增量学习更侧重持续更新累积知识，不一定要逐样本处理。增量学习常以批次为单位进行更新，而在线学习强调逐个样本的顺序处理。
  • 流学习 (Stream Learning)：强调从无限数据流中学习，本质与在线学习一致。流学习更常出现在数据挖掘和数据库领域，关注的时间复杂度约束更强。
  • 强化学习：天然具有在线性质——智能体在交互中逐步获取奖励并更新策略，可视为带延迟反馈的在线学习。强化学习中的策略梯度算法与在线学习中的策略搜索一脉相承。
  • 差分隐私：在线学习与隐私保护机制兼容，每次只用单个样本更新，便于实现差分隐私的样本级保护。在线 SGD 可以通过添加高斯噪声实现差分隐私，且遗憾界仍然可控。

应用

在线学习广泛应用于大规模广告点击率预测、推荐系统实时更新、高频金融交易信号过滤、物联网传感器异常检测、搜索排名在线优化以及在线 A/B 测试中的自适应实验设计。在工业界，Google 和 Meta 的核心广告系统都基于 FTRL 或其变体构建，每日更新数十亿条样本的模型参数。在学术界，在线学习与在线凸优化的理论框架已成为机器学习理论研究的重要基石，推动了对非平稳和对抗性环境下学习问题的深入理解。