AWQ:用于LLM压缩和加速权重量化方法 | Activation-aware# 论文速览 AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration 链接问题: 庞大的模型大小增加了在硬件上提供服务(内存大小)的难度,并减慢了标记生成的速度(内存带宽)。举例来说,GPT-3模型有1750亿个参数,使用FP16表示需要350GB的...