dataset = ["auto-gptq 是一个基于 GPTQ 算法的易于使用的模型量化库,具有用户友好的 api。"] quantization = GPTQConfig(bits=4, dataset = dataset, tokenizer=tokenizer) 量化 您可以通过使用 from_pretrained 并设置 quantization_config 来量化模型。 from transformers import AutoModelForCausalLM model = Au...