execute_async_v2是TensorRT异步推理的一种实现方式。在异步推理中,程序的执行并不严格按照从上到下的过程。例如,当连续输入多张图片时,异步会开启多线程,提前处理数据,而同步会等待处理完结果再去获得下一张。 这个API的原理主要是通过将需要进行推理的数据放入一个输入流中,然后开启一个CUDA流来执行推理内核。CUDA...