本篇文章对张量模型并行、流水线模型并行的原理进行简单介绍。 1 张量模型并行(Tensor Model Parallelism) 1.1 原理 这里通过 GEMM 来看看如何进行模型并行,这里要进行的是 XA=Y ,对于模型来说, X 是输入, A 是权重, Y 是输出。从数学原理的角度来看,对于神经网络中的线性层(Linear层),可以将其看作是将输入...
极简Megatron-LM 模型并行切分介绍 在大模型流行的年代,我经常需要给同事解释Megatron-LM是怎么做的模型并行,自己也经常记不清从头推。而现有大多数的文章都是算法向或者历史向的,信息浓度比较低。为了节省大家的时间,在这里记录一下 Megatron-LM 的切分方式。由于只考虑切分,所以本文忽略 transformer 模型中的各种 ele...
背景介绍：Megatron-LM于2020年发布，专门针对十亿参数级别的语言模型进行训练，如具有38亿参数的类GPT-2的transformer模型和39亿参数的BERT模型。模型并行训练有层间并行(inter-layer)和层内并行(intra-layer)两种方式，分别对应模型的竖切和横切。Tensor并行计算方法介绍：Tensor并行通过合理方式将输入矩阵和...
NVIDIA Megatron-LM 是一款基于 PyTorch 的分布式训练框架，主要用于训练大型语言模型，集成数据并行、张量并行和流水线并行技术。通过之前文章了解，Megatron-LM 默认将模型层均匀划分到不同的流水线阶段。本文介绍如何在 Megatron-LM 中自定义流水线并行的切分方式。传统的流水线并行将模型层均匀分配到不同阶...
在Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM和Reducing Activation Recomputation in Large Transformer Models这两篇论文中介绍了Megatron-LM常见的大规模训练策略。 常见的大模型训练技术包括:数据并行技术、模型并行技术(包括张量并行技术和流水并行技术)、优化器状态并行技术、序列...
Name Last commit message Last commit date Latest commit jaredcasper Merge branch 'helenn-clarify-max-seq-len' into 'main' Feb 28, 2025 47261db·Feb 28, 2025 History 5,817 Commits .github Disable auto closure of stale issues/PRs Jul 21, 2023 ...
在系统方面,我们介绍了第一个多模式序列并行(MM-SP)系统,该系统能够实现长上下文训练和推断,在256个GPU上实现2M上下文长度的训练。MM-SP也很高效,在纯文本设置中比环形序列并行快2.1倍-5.7倍,比威震天LM快1.1倍-1.4倍。此外,它与拥抱脸Transformers无缝集成。对于模型训练,我们提出了一个五阶段流水线,包括对齐、...
实现介绍 这部分内容将深入探讨分布式优化器的实施细节。3.1 程序入口 通过分析初始化过程和系统调用，我们可以深入理解分布式优化器的启动机制。3.2 grad buffer初始化（DistributedDataParallel类）在这个部分，我们关注DistributedDataParallel类及其在初始化grad buffer时的功能与作用，这是实现分布式训练中关键...
文章还介绍了Megatron-LM提出的activation checkpoint方式，通过只对特定层做检查点，增加了少量计算开销，节省了大量显存资源。实验结果表明，与传统的激活重算相比，这种选择性重算技术可以显著提高吞吐量，通过让显存打得更满，进一步利用GPU计算能力。文章总结，通过合理配置并行维度、优化微批次大小、采用...