在使用基于PyTorch或Hugging Face Transformers库的ChatGLM模型时,如果你尝试访问ChatGLMConfig对象的quantization_bit属性,并遇到了AttributeError,这通常意味着你的ChatGLM版本不支持该属性,或者你可能误用了它。 首先,让我们澄清一下,ChatGLMConfig类通常用于存储模型配置参数,如隐藏层大小、注意力头数等。quantization_bit...
GPU: 1660Ti transformers==4.36.2 optimum==1.16.1 auto-gptq==0.6.0+cu118 CUDA=12.3 SOLUTION: for me I fixed thedisable_exllamaerror by running the container with--gpus all Sorry, something went wrong. NamburiSrinathmentioned this issueSep 19, 2024 ...