虽然此方案可以保证推理时间相对稳定(50ms),但是因为增加了一个模型2占用显卡资源,所以整体时间会提升,具体提升时间和你的模型2 有关,所以模型2 整体增加时间越少。 方案2:对系统设置无分页内存[2] 方案3:驱动版本在400-500时推理时间比较稳定,版本>500时会导致推理不稳定,因此可以尝试降低驱动版本 方案4:锁定GPU...
显卡设置性能模式就行了