一、Prompt Tuning 二、P-Tuning 三、P-Tuning v2 四、Prefix Tuning 五、Adapter 5.1 Adapter Fusion 5.2 AdapterDrop 六、LoRA 预训练大模型虽然具有强大的泛化能力和广泛的知识,但它们通常是针对大量通用数据集进行训练的,这使得它们在处理特定任务时可能无法达到最佳效果,比如ChatGPT、混元、文心一言在回答一些常识...
算法介绍 Prefix-Tuning通过在输入序列中加入跟任务相关的向量,只训练这部分任务相关的向量,保持预训练模型的参数不变。Prefix-Tuning会在每个attention的key和value向量中插入l个用于更新参数的prefix向量,然后冻结预训练模型的参数, 只更新这些prefix向量的参数,就可