LLM-Pruner: On the Structural Pruning of Large Language Models 【Arxiv】 Xinyin Ma, Gongfan Fang, Xinchao Wang 项目地址: https://github.com/horseee/LLM-Prunergithub.com/horseee/LLM-Pruner !!更新:支持了LLaMA-2和Baichuan的剪枝 1. 大语言模型压缩面临的问题 首先,大语言模型的压缩与传统的神...
在通过新方法找到帕累托最优子网络之后，该团队选出了那些规模同等或更小的子网络（它们是通过剪枝或稀疏化得到的），并评估了它们在不同任务上的性能。然后，该团队比较了它们与 LLM-Pruner 和 SliceGPT 的标准基准性能，结果见表 3 和 4。在表 3 中，ARC-c 和 MMLU 的某些子网络的准确度高于新方法找到的...
LLMpruner:采用结构化剪枝的LLMpruner分为三个阶段: (1) 发现阶段:这一步聚焦于识别LLM内部相互依赖的结构,这些相互依赖的结构需要被同时移除已确保剪枝后结构的正确性。 (2) 估计阶段:一旦耦合结构被分组,第二步就包含估计每个组对模型总体性能的贡献,并决定要剪枝的组。 (3) 恢复阶段:这一步涉及到快速的后训...
LLM-Pruner: On the Structural Pruning of Large Language Models [arXiv] Xinyin Ma, Gongfan Fang, Xinchao Wang National University of Singapore Why LLM-Pruner Task-agnostic compression: The compressed LLM should retain its original ability as a multi-task solver. Less training corpus: In this wor...
https://arxiv.org/abs/2305.11627 Github地址: https://github.com/horseee/LLM-Pruner 大语言模型压缩面临的问题 首先,大语言模型的压缩与之前的语言模型(例如 BERT,RoBERTa 等)的压缩等有什么差异呢。这需要从模型/数据/任务三个角度来分析, 模型规模:第一个主要差异来自 LLM 参数量规模远超之前的语言模型,...
原因是网络架构中不同中间大小的位置可能不会影响模型大小,但会影响准确度。因此,较小的子网络也可能取得更高的准确度,因为它选择了更好的中间大小。对于新方法找到的大小相近的子网络,在每个任务上的准确度均高于 LLM-Pruner 和 SliceGPT。 量化 为了进一步提升新方法找到的帕累托最优子网络的性能,该团队使用了...
O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning [Paper] Kimi k1.5: Scaling Reinforcement Learning with LLMs [Paper] Training Language Models to Reason Efficiently [Paper] L1: Controlling How Long A Reasoning Model Thinks With Reinforcement Learning [Paper] DAST: Diffic...
https://arxiv.org/abs/2305.11627 Github地址: https://github.com/horseee/LLM-Pruner 大语言模型压缩面临的问题 首先,大语言模型的压缩与之前的语言模型(例如 BERT,RoBERTa 等)的压缩等有什么差异呢。这需要从模型/数据/任务三个角度来分析, 模型规模:第一个主要差异来自 LLM 参数量规模远超之前的语言模型,...
链接:https://arxiv.org/abs/2312.11983 Task 大语言模型的结构化裁剪 Background 过去模型裁剪工作大多是非结构化的, 这些方法依赖特定的硬件, 很难广泛应用; 近期的结构化裁剪工作(LLM-Pruner)依赖后训练, 当应用至更大模型的时候, 会带来昂贵的计算量; ...
Tree trimmers and pruner, Interpreters and translator, Refuse and recyclable material collector, Tutor, Helpers, construction trade, Printing press operator, Cement masons, concrete finishers, and terrazzo worker, construction and related worker, Automotive body and related repairer, Baggage porters, bell...