这点和Finetune和DoRA很不一样。也就是说LoRA更新权重时,要么大幅度+大变向,要么小幅度+小变向,因此缺乏进行更细微、多样调整优化的能力,比如无法在微小的方向变化同时,执行权重的大幅度大小更新。 虽然这个对大家实际操作也没啥用,但可以帮忙加深理解下LoRA和finetune的区别,就记录性写一下。当然,这篇文章在Sora...
这点和Finetune和DoRA很不一样。也就是说LoRA更新权重时,要么大幅度+大变向,要么小幅度+小变向,因此缺乏进行更细微、多样调整优化的能力,比如无法在微小的方向变化同时,执行权重的大幅度大小更新。 虽然这个对大家实际操作也没啥用,但可以帮忙加深理解下LoRA和finetune的区别,就记录性写一下。当然,这篇文章在Sora...