如果刚开始接触训练大模型,首先一定会碰到DeepSpeed,ZeRO有三个阶段:ZeRO 1,ZeRO 2,ZeRO 3。如果想要理解这三个阶段的不同,需要明白下面两件事: 1.大模型训练过程中的显存占用都有哪些? 2.DeepSpeed ZeRO的三个阶段分别是如何节省显存的? 本篇文章希望用通俗易读的语言来介绍清楚这两件事,让你使用DeepSpeed更加...
ZeRO-2(P_os+g):分布式梯度、优化器状态: ZeRO-2 是 ZeRO(Zero Redundancy Optimizer) 优化的第二个阶段,它在 ZeRO-1 的基础上进一步优化了梯度的存储方式。在 ZeRO-2 中,除了优化器状态被分片存储之外,梯度也被分布式存储,每个 GPU 只存储部分梯度,而不是完整的梯度。这进一步减少了内存消耗,并在大规模模型...
ZeRO(Zero Redundancy Optimizer)是一种去除冗余的分布式数据并行(Data Parallel)方案,分为Stage 1, Stage 2, Stage 3,而Deepspeed就是论文中ZeRO方法的Microsoft官方的工程实现。 ZeRO-Offload为解决由于ZeRO而增加通信数据量的问题,提出将GPU转移到CPU ZeRO-Infinity同样是进行offload,ZeRO-Offload更侧重单卡场景,而ZeR...
为此，ZeRO-Infinity技术应运而生，它在ZeRO-Offload的基础上进一步探索优化，不仅充分利用了GPU显存和CPU内存，更创新地融入了NVMe磁盘空间。通过这些异构存储器的协同作用，ZeRO-Infinity成功突破了GPU内存的限制。具体而言，ZeRO-Infinity的卸载引擎巧妙地利用了CPU和NVMe内存，大幅增加了可用于存储模型参数和激活的内存容...
Zero2 Pos+g进一步将梯度加入到分拆行列，使得当N远大于14时，单卡上的显存占用降低至每参数仅2字节，即原占用的1/8。而Zero3 Pos+g+p则更是将模型参数也纳入分拆范围，理论上在N足够大的情况下，显存占用可以趋近于0。尽管Zero技术在面临显存限制时表现出色，但我们必须考虑通信代价。幸运的是，Zero1和Zero2...
Deepspeed功能包括Pipeline Parallelism，它通过将模型的每一层分配到不同的GPU上，实现使用多卡加载大模型。在Zero2版本中，Deepspeed提供offload模式，用于在训练时将优化器参数和梯度状态卸载到内存中，以节省显存；Zero3通过限制参数加载量，实现大模型在小模型上运行，但在时间上会有所减慢。Deepspeed的...
Deepspeed的Zero策略通过Zero-2与Zero-3实现，配置示例与更详细的参数解析可参阅官方文档。在单节点训练场景下，即单机单卡或单机多卡，应避免使用CUDA_VISIBLE_DEVICES与Deepspeed冲突。正确的做法是在localhost后指定训练用GPU。与Trainer一起使用时，Deepspeed支持四种不同的混合方式。常见的组合是直接使用DS...
Reminder I have read the README and searched the existing issues. Reproduction deepspeed --include localhost:4,5,6,7 --master_port 14267 ../src/train_bash.py --deepspeed ../deepspeed/zero3.json --stage sft --do_predict --adapter_name_or_...
3、上述的DP和DDP,通过分布式增加了算力,但缺陷还是很明显的:并未节约显存!所以由此产生了ZeRO技术! (1)预训练时,optimizer占用8倍参数量的显存空间,是最耗费显存的,所以肯定先从这种“大户”下手啦!前面的DP和DDP,每块显卡都保存了完整的optimizer,互相都有冗余,能不能消除这个冗余了?比如集群有3块显卡,每块显卡...