llava-next 的代码是建立在 llava-1.5 之上的,因此此文章理解需要对 llava 有一定的代码基础。笔者近期跑了下代码,对其中的改变进行了梳理,方便读者快速应用。 官方代码链接:llava-next,llava-1.5 首先是训练脚本方面,llava-next 一改deepspeed的写法,变回了torchrun。 笔者进行了尝试,变回了 deepspeed 的写法...
启用deepspeed脚本之后,optimizer 的 if 是进不去的,也就是所有微调模块都是一个学习率 基于 deepspeed 的方式,在 trainer 过程中会先初始化optimizer 和 scheduler 后续的 scheduler 同样,没有办法进行 warm…