我是在基于chatglm6b做模型微调,在deepspeed初始化阶段,就失败了,我是单机4卡的环境、每张nvidia卡都是15g显存; ds初始化阶段,4个gpu的显存占用都到12G,其中3号卡原本就有3g被占用了,所以3号卡继续申请显存,程序就crash及OOM了; 这意思是说只是在ds初始化阶段,开了stage=3,不启动offload,单机4卡,每一张卡1...