这会在当前目录中创建一个Qwen2-72B-Instruct-GPTQ-Int4目录用于保存模型的权重。如果下载过程中出现问题,会自动恢复。 启动服务 使用以下命令启动服务: vllm serve ./Qwen2-72B-Instruct-GPTQ-Int4 \ --tensor-parallel-size 2 \ --host 127.0.0.1 \ --port 6006 \ --served-model-name Qwen2-72B-Ins...
export VLLM_USE_MODELSCOPE=True 3. 单4090启动 因尝试4090+2080ti混合部署,没有成功,所以只尝试分开部署, 首次执行命令,会从hf/modelscope下载模型,需要一定时间。 exportCUDA_VISIBLE_DEVICES=0vllm serve Qwen/Qwen2-VL-72B-Instruct-GPTQ-Int4 --dtype auto --api-key token-abc123 --max_model_len=...
想问下我们目前是否支持部署,如果不能部署的话预计什么时候可以支持一下~Collaborator Jintao-Huang commented Aug 5, 2024 已经支持了 文档有写～ Jintao-Huang closed this as completed Aug 8, 2024 Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment ...