▋ 微调 fine-tuning 有什么用? 简单来说,就是可以把原本要打一长串的 Prompts 直接输入到模型里面, 像是一些输出格式、说话语气、不要重复讲的事,都事先调整好。 ■ 优点 1. 得到比单纯输入 Prompts 更好的结果 2. 输入 Prompts 的时候,不用再给那么多范例 3. 不用再给 AI 太多 Prompts,节省 Token ...
iCaRL方法：选择性地存储之前任务的样本。LwF方法：以知识蒸馏的方式保留之前任务的知识。正交权重修改结合...
说个可能的思路，训练过程中把bert的所有参数copy成2份，一份允许训练的时候更新，一份禁止更新，最终...
1. 采样与数据重复，当前训练任务几个批次混合一个旧数据批次 2. 将原始参数加入损失函数中，使得训练...
左侧为不需要世界知识的常见测试集上的性能，右侧为需要世界知识的QA测试集上的表现，横轴为SFT数据量，...
遗忘啥就再训练啥，最实用的就是这个了，其他的都比较fancy不一定好用～
可以采用连续学习的一些方法。不过我不确定这些方法和学习率调很小，或者只finetune softmax层之类的有没...
清华游凯超同学的NeurIPS20的co-tuning也提出了一个可以参考的方法，在cv和nlp的数据集上都很有效果。
或者fine-tune的时候针对新的分布顶层单独加几层网络，重点训练顶层的网络，把底层当作一个特征提取器就好...
通过大约1个GPU小时的微调，他们有效地删除了模型生成或回忆哈利波特相关内容的能力，同时在常见基准测试(...