因此PiSSA在进行量化训练时,除了收敛快、拟合效果好,还有量化误差小的优点。考虑到量化和LoRA经常被同时使用,这一优点显得尤为关键。 训练效果验证 使用不同秩时,QLoRA、LoftQ和PiSSA在量化训练开始前的误差减小率、训练loss、GSM8K和MATH上的准确率。 在上图中对比了QLoRA、LoftQ和PiSSA的效果。其中量化误差减小率...