开启了kv-cache量化之后,模型在infer时预测更长的seq-length(sl,生成的token数)结果时,可以节约更多的显存。 | USE KVCache | sl=512 | sl=1024 | sl=2048 | sl=4096 | sl=8192 | | --- | :---: | :---: | :---: | :---: | :---: | | no | 15.2GB | 16.3GB | 17.6GB | ...