cn/AI-ModelScope/dbrx-instruct.git 推理硬件与推理框架 8*A800 SIMX 80G vllm(需要安装最新的版本或者从源码编译安装) 四卡推理,vllm 内存使用率设置0.9, max-len为全量(设置少点还可以少点内存) 4*70=280G显存 8*4090 24G vllm(需要安装最新的版本或者从源码编译安装) 无法部署服务,量化版本应该是...
提交Issue,填表就好 内容必填选填?你说了算! 精准反馈,高效沟通 我知道了查看详情 Watch 1Star0Fork0 Hugging Face 模型镜像/dbrx-instruct 标签 Tags Releases 功能基于仓库中的历史标记 建议使用类似 V1.0 的版本标记作为 Releases 点。