2. 显存占用分析:LoRA显存占用更少 既然LoRA反向传播的计算量更大,那为什么实际训练时,LoRA的显存占用更少、训练速度更快? 首先分析第一个问题,显存占用问题。 主干模型部分 首先主干模型的权重都要存储到显存中,这部分显存无法省掉。 其次,由于LoRA模型的梯度依赖于主干模型的梯度,所以我们必须计算主干模型的梯度,...
1. 理论上计算量分析:LoRA的计算量和全参数微调相当 2. 显存占用分析:LoRA显存占用更少 3. 实际训练速度分析:LoRA训练速度更快 4. 内存占用分析:LoRA内存占用更小 5. LoRA微调效率实测:ChatGLM3-6B 参考 打个小广告 ☻,知乎专栏《大模型前沿应用》的内容已经收录在新书《揭秘大模型:从原理到实战》中。感兴...