当你执行 docker pull vllm/vllm-openai 命令时,这个命令会从Docker Hub上拉取名为 vllm/vllm-openai 的Docker镜像。这个镜像由vLLM官方提供,用于部署和运行与OpenAI兼容的服务。下面是执行该命令的一些详细步骤和注意事项: 打开命令行工具: 确保你已经打开了命令行工具,例如终端(Terminal)或命令提示符(Command Pro...
Docker NVIDIA GPU(计算能力为7.0或更高) NVIDIA Container Toolkit & NVIDIA Driver version:'3.9'services:vllm-openai:#使用最新的vllm-openai镜像image:docker.cnb.cool/aigc/deepseek-vllm/vllm-openai:latestcontainer_name:vllm_servicerestart:unless-stoppedports:#将容器的8000端口映射到主机的8888端口-"88...
由于你没有指定仓库名将使用默认的仓库docker.io,如: docker.io/vllm/vllm-openai:latest github-actions bot changed the title vllm/vllm-openai:latest docker.io/vllm/vllm-openai:latest Jul 30, 2024 github-actions bot commented Jul 30, 2024 镜像docker.io/vllm/vllm-openai:latest 同步中......
• 重构LLM lora支持逻辑,现在launch时可以指定多个lora模型,chat时可自由选择其中一个。参考文档:https://inference.readthedocs.io/zh-cn/latest/models/lora.html 🔧 • 兼容最新OpenAI API stream_options选项 🔄 • Bug修复: 修复vllm推理引擎无法识别top_k参数的问题 🐛 修复某些环境下docker镜像启动...
🏷️ pip:pip install 'xinference==1.1.1’🐳 Docker:拉取最新版本即可,也可以直接在镜像内用 pip 更新。🆕 更新日志新模型🖼️ 图像:SD3.5系列🤖 多模态:QvQ-72B-Preview新功能现在图像模型支持 GGUF 和 nf4 等量化方式🍎 MLX 引擎支持 F5-TTS🛠️ VLLM 引擎支持 Minicpm-4B 模型...
部署方式多样:支持通过Python或Docker启动服务,并与MindIE的NPU优化深度集成,适合追求高性能和硬件加速的场景。 示例启动命令: vllm serve NousResearch/Meta-Llama-3-8B-Instruct--dtypeauto --api-key token-abc123 如何选择? 优先选择兼容OpenAI接口:若需要与OpenAI生态完全兼容,或依赖其完整API参数(如工具调用)。
如果你想坚持使用旧版本的镜像，你可以拉取旧版本的镜像，然后在docker内部使用pip install xinference==...
HPC)上运行时，OpenAI服务器出现问题,你可能需要处理Python路径问题。默认情况下，我们的Docker镜像不会将...
多平台容器镜像代理服务,支持 Docker Hub, GitHub, Google, k8s, Quay, Microsoft 等镜像仓库. - docker.io/vllm/vllm-openai:latest · kubesre/docker-registry-mirrors@1d6b0d9
[Bug]: InternVl2-8B-AWQ gives error when trying to run with vllm-openai cuda 11.8 docker image Your current environment The output of `python collect_env.py` Model Input Dumps No response 🐛 Describe the bug Process SpawnProcess-1: