decoder为llama的多模态模型,A10,优化前模型推理rt3.1s,适配vllm后1.8s,叠加awq int4量化后降至1.3s。 decoder为qwen2的多模态模型,A10,原始torch 8.5s , vllm 多模适配版本 4.6s,叠加gptq int8 降至3.8s ,更换int4降至2s左右。显存占用上,原始模型单纯加载后显存占用为17G(vllm会预先占用显存,因此这里...
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
eTq⋅Δw+wq=quant(wq) 可以得到量化版本的OBC(OBQ)的权重更新公式和重要性评估公式为: wp=argminwp(quant(wp)−wp)2[H−1]pp,δp=−wp−quant(wp)[H−1]pp⋅H−1:,p OBQ会按照参数重要性对参数进行逐个量化。 终于到了GPTQ。 论文:https://arxiv.org/pdf/2210.17323 基于OBS,GPTQ...
只要系统上存在与PyTorch所依赖的CUDA 12.4版本兼容的动态链接库,PyTorch就能够正常运行。 此外,nvidia-smi显示的是GPU驱动程序能支持的CUDA运行时最高版本比如12.6。只要PyTorch的运行版本小于nvidia-smi显示的版本即就ok,比如12.4。 还可以查看vllm的版本:pip show vllm 应该显示Version: 0.6.5或者0.5.4 以下是2个...
请使用最新版本的4.40.1或最新的发布版本。他们刚刚修复了我遇到的一个llama生成问题回归。这个bug是...
使用最新版本的4.39.3(最新)转换器或4.38.2(稳定)版本。
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。