分布式训练

分布式训练

分布式训练（Distributed Training）是指将深度神经网络模型的训练计算任务拆分到多个计算设备（如 GPU、TPU）或计算节点上协同执行的方法。随着模型参数量从亿级跃升至万亿级（如GPT-4、PaLM等大型语言模型），单卡显存与算力已根本无法满足训练需求，分布式训练成为大模型时代的基础基础设施。

核心并行范式

分布式训练主要通过三种基本并行策略来实现，实际的大规模训练系统通常将它们组合使用。

数据并行（Data Parallelism）是最早被广泛采用的策略：每个设备持有完整的模型副本，但仅处理训练数据集的一个子集（mini-batch 分片）。各设备在前向传播后独立计算梯度，然后通过 All-Reduce 或参数服务器架构对所有设备的梯度进行全局同步，再将平均后的梯度应用于每个设备的模型参数更新。数据并行的优点是实现简单、模型代码无需改动；缺点是当模型超过单卡显存容量时便无法使用。

模型并行（Model Parallelism）解决的是"模型太大、单卡放不下"的问题。它将网络的不同层或同一层内的参数切分到不同设备上。层间切分又称流水线并行（Pipeline Parallelism）——模型按层分为多个阶段，输入以微批次（micro-batch）流经各阶段，典型实现有 GPipe 和 PipeDream。层内切分又称张量并行（Tensor Parallelism）——将单个权重矩阵沿行或列切分，各设备并行计算子矩阵乘法后再通过 All-Gather 或 All-Reduce 合并结果，Megatron-LM 是这一方向的代表性框架。

通信架构与优化

分布式训练的性能瓶颈往往不在于计算本身，而在于设备间的通信开销。传统架构中，参数服务器（Parameter Server）采用中心化的"服务器—工作者"拓扑：工作者节点计算梯度并推送至服务器，服务器聚合后拉回更新后的参数。这种架构在节点数量增大时面临服务器带宽瓶颈。

现代系统更倾向于去中心化的 Ring-AllReduce 架构。它基于环状拓扑，将 N 个节点的梯度同步分解为 Scatter-Reduce 和 All-Gather 两个阶段，每个阶段仅需 N−1 步通信，且通信量不随节点数增长而增加。NVIDIA 的 NCCL 库对 Ring-AllReduce 做了深度硬件优化，使其成为当前 GPU 集群训练的事实标准。此外，ZeRO（零冗余优化器）和 FSDP（全分片数据并行）进一步将优化器状态、梯度和参数分片存储在数据并行的工作节点上，在数据并行的框架内实现了接近模型并行的显存效率。

混合并行与大规模训练系统

当代前沿大模型的训练几乎无一例外地采用混合并行（Hybrid Parallelism）方案：在单机多卡内部使用张量并行 + 流水线并行以容纳超大模型，在跨机层面使用数据并行以扩展数据吞吐量。DeepSpeed（微软）和 Megatron-LM（英伟达）在混合并行的调度效率、显存优化和通信压缩方面做了大量工程创新，支撑了 GPT-3（1750 亿参数）和 LLaMA 系列等模型的成功训练。

局限与挑战

分布式训练面临的核心挑战包括：通信延迟与带宽限制导致的加速比低于线性；负载不均衡带来的"短板效应"（Straggler Problem）；大规模集群中硬件故障频率升高所需的检查点（Checkpoint）与容错机制；以及随之而来的能耗与碳足迹问题。此外，分布式训练系统的部署和调试复杂度远高于单机训练，对工程团队的要求极高。这些挑战驱动着模型压缩、稀疏训练、联邦学习等替代范式的研究与发展。