如果按照是否有监督，还有无监督微调（Unsupervised Fine-Tuning，在没有明确标签的情况下，对预训练模型进行微调）、自监督微调（Self-Supervised Fine-Tuning，模型通过从输入数据中生成伪标签（如通过数据的部分遮掩、上下文预测等方式），然后利用这些伪标签进行微调。） 图片来自OpenAI 论文：Train
"REFT: Reasoning with REinforced Fine-Tuning"强化微调技术论文笔记 摘要 提高大型语言模型(LLMs)推理能力的一种方法是使用思想链(CoT)注释进行监督微调(SFT)。然而,由于训练只依赖于给定的思维链数据,这种方法没有显示出足够强的泛化能力。ReFT首先用SFT预热模型,然后使用在线强化学习,特别是本文中的PPO算法,进一步...
paper:ReFT: Reasoning with Reinforced Fine-Tuning 论文要解决的问题: In math problem- solving, for example, there is usually only one annotated reasoning path for each question in the training data. Intuitively, it would be better for the algorithm to learn from multiple annotated reasoning paths...
最近看finetune论文刷的头疼,记录下来1-bitfit, bias key,FNN;(论文:BitFit: Simple Parameter-efficient Fine-tuning or Transformer-based Masked Language-models)2-prefix tuning, prompt as header token, add-in data-set(train):input,MLP,per-layer;(论文:Prefix-Tuning: Optimizing Continuous Prompts for...
使用CNN进行生物医学图像分析在最近几年得到了比较多的关注,但面临的一个问题是缺乏大量的标注数据,相比imagenet,对医学图像进行标注需要大量的专业背景知识,为了节约标注的成本和时间,这篇论文提供了一个新型的方法AIFT(Active,Incremental Fine-Tuning),把主动学习和迁移学习集成到一个框架。AIFT算法开始是直接使用一个...
论文链接:https://aclweb.org/anthology/P18-1031 对文章内容的总结 文章研究了一些在general corpus上pretrain LM,然后把得到的model transfer到text classiffication上 整个过程的训练技巧。 这些技巧的切入点是learning rate. 主要是三个: (1)discriminative fine-tuning (其中的discriminative 指 fine-tune each la...
Fine - tuning是指在一个已经预训练好的AI模型基础上，针对特定任务或特定风格需求进行进一步的调整和优化。预训练模型通常是在大规模的通用数据上进行训练，已经学习到了一些通用的模式和特征。例如，在自然语言处理中，像GPT - 3这样的预训练模型在大量的文本数据（包括新闻、小说、学术论文等）上进行训练，掌握了...
我们提出的Child-Tuning给出了一种新的解法：在Fine-tuning过程中仅更新预训练模型中部分网络的参数（这部分网络本文就叫做Child Network），这么简单直接的做法却效果奇赞，结果在GLUE上相较标准Fine-tune有0.5～8.6个点的效果提升，但却只需要几行代码的修改，你不想试试吗？目前，该论文《Raise a Child in ...
Prefix-tuning对应的论文是Prefix-Tuning: Optimizing Continuous Prompts for Generation(2021),这类方法的思想来源于prefix prompt,prefix embedding相当于一个上下文信息,对模型最终产出的结果造成影响,进而只finetune这个embedding实现下游任务的迁移。 LoRA的核心是通过引入参数量远小于原模型的可分解的两小矩阵建立一个...
LM fine-tuning:LM使用区分微调(Discriminative)和本文使用的是三角变化的学习率(Slanted triangular learning rates)两个trick对目标域数据进行微调,以学习每个word的特定语料上的representation。 Classifier fine-tuning:上层分类器训练,这一步也用了很多的trick。