对于fine-tuning,会更新模型的所有参数,但是prefix-tuning只更新prefix-tokens的参数,这样不同的任务在微调后,只需要保存对应任务的prefix tokens,因此相较于fine-tuning,prefix-tuning的成本会小的多。 三、详细算法 Prefix-tuning在使用过程中,会对所有层的Transformer的输出都拼接上对应的prefix tokens,并在反向传播阶...