(1)爆出:CUDA extension not installed. 这个问题我一直以为是CUDA和pytorch没配置好,或者不适配硬件,甚至以为是没有安装cudnn的原因,但最后发现原来是安装的auto-gptq不适配当下环境。 注意按照上面的方法安装auto-gptq仍然可能报错或者不适配,此时应该从源码安装,可以参考教程AutoGPTQ/README_zh.md at main · A...
git clone https://github.com/PanQiWei/AutoGPTQ.git&&cdAutoGPTQ # 以下两种方式任选一种进行安装,经测试均有效pip install -vvv --no-build-isolation -e .# >> Successfully installed auto-gptq-0.8.0.dev0+cu121 python setup.py install# >> Finished processing dependencies for auto-gptq==0...
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
你好，@anyiz ,你的问题是：