TensorRT是NVIDIA的一个深度学习推理优化器和运行时库。它能够实现高性能的深度学习推理,特别是在GPU上。为了实现异步推理,TensorRT提供了execute_async和execute_async_v2这样的API。 execute_async_v2是TensorRT异步推理的一种实现方式。在异步推理中,程序的执行并不严格按照从上到下的过程。例如,当连续输入多张图片时...