安装完 AutoAWQ 后就可以量化一个模型了。这是一个如何量化 Vicuna 7B v1.5 模型的示例: from awq import AutoAWQForCausalLM from transformers import AutoTokenizer model_path = 'lmsys/vicuna-7b-v1.5' quant_path = 'vicuna-7b-v1.5-awq' quant_config = { "zero_point": True, "q_group_size...
github链接:GitHub - casper-hansen/AutoAWQ AWQ即激活感知权重量化,是一种针对LLM的低比特(4-bit)权重量化的硬件友好方法。本文主要介绍使用AutoAWQ库量化自己的模型。 1.安装依赖 git clone https://github.com/casper-hansen/AutoAWQ.git cd AutoAWQ pip install -e . 2.下载预训练模型 以qwen1.5-7B为...