▋ 微调 fine-tuning 有什么用? 简单来说,就是可以把原本要打一长串的 Prompts 直接输入到模型里面, 像是一些输出格式、说话语气、不要重复讲的事,都事先调整好。 ■ 优点 1. 得到比单纯输入 Prompts 更好的结果 2. 输入 Prompts 的时候,不用再给那么多范例 3. 不用再给 AI 太多 Prompts,节省 Token ...
两组LoRA专家组内的\mathbf{I}值是相等的，优化\mathcal{L}_{l b c}即降低组内路由权重的方差，...
OpenAI 的 12 天计划进入了第 2 天。凌晨两点,我们迎来了一个开发者和研究者更感兴趣的产品:Reinforcement Fine-Tuning,即强化微调。参与发布的四人组是 OpenAI 研究副总裁 Mark Chen、OpenAI 技术员 John Allard 和 Julie Wang、Berkeley Lab 的环境基因组学和系统生物学研究者 Justin Reese。正如小型发布会上所...
如果把常用手机api作为function,端侧agent可以做增强版的siri(图2);2. 2代模型放弃了RAG范式(v1的方法),转而拥抱FineTuning范式,把固定的function set相关的知识直接encode到参数里去(图3),这是v2的最大不同;v2用的模型是Gemma 2B,可以认为是SLMs微调的应用;3. RAG范式的prompt如图4,而FineTune之后,Octopus ...
iCaRL方法：选择性地存储之前任务的样本。LwF方法：以知识蒸馏的方式保留之前任务的知识。正交权重修改结合...
1. 采样与数据重复，当前训练任务几个批次混合一个旧数据批次 2. 将原始参数加入损失函数中，使得训练...
说个可能的思路，训练过程中把bert的所有参数copy成2份，一份允许训练的时候更新，一份禁止更新，最终...
遗忘啥就再训练啥，最实用的就是这个了，其他的都比较fancy不一定好用～
可以试一下K-Adapter的思路，试了下还不错
有个新的 O-LoRA 思想：新学的 delta 权重，在原来 （delta权重）子空间 的 正交空间 里面 ...