动机:LoRA的低秩限制了其记忆能力,设输入维数为d,输出维数为k,LoRA的秩为r,一共有r*(d+k)的参数,最高的秩应该是r' = sqrt(r*(d+k))才对,把LoRA的rank提高到r'或许能提高它的记忆能力。 方法:框架如图一上方所示,可训练参数为一个r' x r'的方阵M,前后有两个非参的降维和升维模块comp和decomp。关...
Describe the issue I’m encountering a RuntimeError: expected scalar type BFloat16 but found Float error during fine-tuning LLAVA with LoRA enabled. This error occurs when I run the model on a machine with relatively small GPUs, which is ...
笔记本电脑挑战Gemma-7B中文优化 | 之前以为微调7B模型,笔记本电脑应该很困难,很容易把显存弄爆掉,不过结合QLora、Flash Attention 2以及adamw_bnb_8bit的优化方法,竟然很轻松就完成了Gemma-7B的优化。话不多说,接下来我们利用这篇论文的ORPO方法优化Gemma-7B,增强取中文的对话能力。