此外,考虑到一些 Delta Tuning 算法本质上是可并行的(例如 Prompt Tuning 和 Prefix-Tuning等),因此 Delta Tuning 可以允许在同一个 batch 中并行训练/测试来自多个用户的样本(In-batch Parallel Computing)。最近的工作还表明,大多数 Delta Tuning 方法,如果本质上不能并行化,也可以通过一些方法修改以支持并行计算。
OpenDelta工具包:https://github.com/thunlp/OpenDelta 研究者定义和描述了 Delta Tuning 问题,并通过一个统一的框架对以往的研究进行梳理回顾。在该框架中,现有 Delta Tuning 方法可以被分为三组:增量式(Addition-based)、指定式(Specification-based)和重参数化(Reparameterization)的方法。
最后,还比较了Delta-Tuning和Delta-Compression的效果差异(Delta-Tuning指的是通过训练部分参数进行微调,Delta-Compression指的是先进行全参数微调,再将微调带来的模型参数增量进行压缩)。其中Delta-Tuning采用的是LoRA。Delta-CoMe对比LoRA在相同的存储开销下,性能显著提升。
methods (we dub it asdelta tuning), by which users could flexibly assign (or add) a small amount parameters to update while keeping the most parameters frozen. By using OpenDelta, users could easily implement prefix-tuning, adapters, Lora, or any other types of delta tuning with preferred ...
Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Model, Preprint 2022. Ning Ding, Yujia Qin, Guang Yang, Fuchao Wei, Zonghan Yang, Yusheng Su, Shengding Hu, Yulin Chen, Chi-Min Chan, Weize Chen, Jing Yi, Weilin Zhao, Xiaozhi Wang, Zhiyuan Liu,...
相关的文档集合可以查看：https://github.com/thunlp/DeltaPapers Delta Tuning的思想很简单，就是只更新...
除了明显的实用价值外,delta tuning似乎暗示了预训练模型的特定适应可能是一个非常简单的过程,这可能会引发有趣的理论问题,值得探索。 本资源整理了预训练模型 参数优化有效方法(Delta Tuning)必读精选论文。 资源整理自网络,下载及获取见源地址:github.com/thunlp/Delta 目录 内容截图 往期精品内容推荐 【双语字幕】...
实验结果涵盖了对Delta Tuning的 性能表现、收敛表现、高效性表现、Power of Scale、泛化表现、迁移性表现 的研究分析。团队还开发了一个开源工具包OpenDelta,使从业者能够高效、灵活地在 PLM上实现 Delta Tuning。 ➤ DeltaTuning 论文链接 nature.com/articles/s42 ➤ OpenDelta 工具包源码 github.com/thunlp...
Prefix-tuning和 Prompt Tuning 是最近非常火热的 Delta Tuning 算法,它们将一些可调的向量插入到输入层或者表示层来进行微调。其中,Prompt Tuning 可以视为 Prefix Tuning 的简化版,即只在输入层添加 Soft Prompt。这种做法有一个非常大的好处,就是不用修改模型内部的结构,同时,随着模型参数量增大到 100 亿,它也被...
为了促进研究进展和应用，研究团队开发了一个开源工具包OpenDelta，使得从业者能够高效、灵活地在PLM上实现Delta Tuning。通过Delta Tuning，基础模型可以以较低的计算成本和存储成本，快速适应特定任务，这对于推动大规模语言模型的实际应用具有重要意义。Delta Tuning的研究不仅提高了大规模语言模型的可应用性，...