一、部署VLLM时,使用的CUDA版本的选择 VLLM官方提供的CUDA对应的版本有两个,分别是11.8和12.1。 这两个版本的含义指的是支持的CUDA最高版本:比如你要安装VLLM0.4.1+cu118这个版本时, 你本地的cuda需要低于cuda11.8,torch的cuda版本选择也是同理。在部署时只需要弄清楚这两个版本的对应关系就能完成VLLM部署了。
自 v0.5.3 版本以来，vLLM 还为每次提交发布一个 wheel 子集（Python 3.10、3.11 和 CUDA 12）。您可以使用以下命令下载它们：export VLLM_VERSION=0.5.4 # vLLM's main branch version is currently set to latest released tagexport VLLM_VERSION=0.5.4 # vLLM 的主分支版本当前设置为最新发布的...
Get Started 为了提高性能,vLLM必须编译很多CUDA kernels,而这种编译会引入与其他CUDA版本或PyTorch版本的二进制不兼容问题,即使相同PyTorch版本的不同构建配置。因此,推荐使用全新的conda环境来安装vLLM。 执行下面命令来安装vLLM。 $ conda create -n$envpython=3.10 -y $ conda activate$env$ pip install vllm v...
# Install vLLM with CUDA 12.1. # 安装带有 CUDA 12.1 的 vLLM。 pip install vllm 注意 截至目前,vLLM 的二进制文件默认使用 CUDA 12.1 和公共 PyTorch 发行版本进行编译。我们还提供使用 CUDA 11.8 和公共 PyTorch 发行版本编译的 vLLM 二进制文件: # Install vLLM with CUDA 11.8. # 安装带有 CUDA 1...
nvidia-smi 显示 cuda 版本是 11.7 目前最新vllm 要求的 torch 版本是 2.1.2,该版本要求的 cuda 版本是 11.8,所以不匹配。执行安装会遇到如下错误 RuntimeError: The NVIDIA driver on your system is too old (found version 11070). Please update your GPU driver by downloading and installing a new vers...
您好,看样子是vllm版本与底层的PyTorch或其他依赖项不兼容的错误,如果您CUDA版本不是12.2的话,您下载安装官方的vllm 0.5.0.post1版本之后(https://github.com/vllm-project/vllm/releases/),把我们QUICK_START中提供的源码替换进去即可。 并参与评论与回复...
开发者可以基于摩尔线程 GPU 及 vLLM-MUSA，进行二次开发、升级 vLLM 到社区更新版本等。摩尔线程称通过 MUSA 软件栈对 CUDA 软件栈接口兼容，大幅提升了应用移植的效率，缩短了开发周期。并提供 MUSIFY 自动代码移植工具等一系列工具和脚本，降低开发者在 MUSA 平台进行大语言模型训练和推理应用适配的难度。IT之家...
nvidia-smi 显示 cuda 版本是 11.7 目前最新vllm 要求的 torch 版本是 2.1.2,该版本要求的 cuda 版本是 11.8,所以不匹配。执行安装会遇到如下错误 代码语言:javascript 代码运行次数:0 运行 AI代码解释 RuntimeError: The NVIDIA driver on your system is too old (found version 11070). Please update your...
该部署流程是以在鲲鹏920服务器,使用cuda 12.6版本进行部署举例。不同的cuda版本在部署安装时需要选择适配的torch版本,流程相同。安装时请开发者自行处理,本文不再赘述。 首先需要安装必要的基础软件。 yum install -y gcc g++ cmake python-pip python3-devel ninja-build.aarch64 numactl-devel.aarch64 wget git...
为了提高性能,vLLM 必须编译多个 cuda 内核。遗憾的是,这种编译会引入其他 CUDA 版本和 PyTorch 版本的二进制不兼容性,即使对于具有不同构建配置的相同 PyTorch 版本也是如此。 因此,建议使用全新的conda 环境安装 vLLM。如果您有不同的 CUDA 版本或者想要使用现有的 PyTorch 安装,则需要从源代码构建 vLLM。请参阅...