由于权重和优化器状态的大小不断增加,大型语言模型(LLM)的训练面临着巨大的内存挑战。常见的内存缩减方法,如低秩适应(LoRA),是在每一层冻结的预训练权重中添加一个可训练的低秩矩阵,从而减少可训练参数和优化器状态。然而,这些方法在预训练和微调阶段的表现通常不如使用全秩权重(full-rank weights)进行的训练,因为它们将参数搜索限制在