期望可以通过CUDA_VISIBLE_DEVICES=0,1,2,3,...参数设置多张GPU卡, python3 -m qanything_kernel.qanything_server.sanic_api --host 0.0.0.0 --port 8777 --model_size 7B 可以正常运行 运行环境 | Environment -OS:Ubuntu22.04.4 LTS-NVIDIA Driver: 550.54.14-CUDA:12.4-docker: 纯Python环境安装-dock...
出现这个报错的原因是,一开始设置了 os.environ['CUDA_VISIBLE_DEVICES'] = '3' ,但是可用的 cuda device 只有 1 个。但后续将 os.environ['CUDA_VISIBLE_DEVICES'] 设置为 '0',但还是报同样的错误。这个是不合理的现象,猜测是更改没有生效。 参考了这个问题的解答:https://discuss.pytorch.org/t/cuda-v...