以下是使用Python版TensorRT进行推理的代码流程: 1. 导入TensorRT库 python复制代码 importtensorrtastrt 2. 加载模型文件 python复制代码 withtrt.Builder(trt.FP16_PRECISION)asbuilder, trt.OnnxParser()asparser: builder.fp16_mode =True withopen("model.onnx","rb")asmodel: parser.parse(model.read()) ...
代码中的bindings是tensorRT对输入输出张量的描述,bindings可以认为是个数组,bindings=input-tensor+output-tensor,比如input有a,output有b,c,d。即输入一个tensor,输出3个tensor,那么bindings=[a,b,c,d],bindings[0]=a,bindings[1] =a,bindings[2] =c。此时看到engine->getBindingDimensions(0),0表示索引,你...