你需要设置一些优化参数,如精度(FP32、FP16或INT8)、工作空间大小等。 python # 设置FP16精度 config = builder.create_builder_config() config.set_flag(trt.BuilderFlag.FP16) # 设置工作空间大小(单位:MB) max_workspace_size = 1 << 30 # 例如,1GB config.set_max_workspace_size(max_workspa...
1. 减小最大输入的尺寸和 batch size: 这个没啥好说的,只能自己多试试 2. 降低模型精度:一般用 fp16 或者 int8 就可以 --noTF32 Disable tf32 precision (default is to enable tf32, in addition to fp32) --fp16 Enable fp16 precision, in addition to fp32 (default = disabled) --int8 En...
D:\ProgramFiles\TensorRT-7.0.0.11.Windows10.x86_64.cuda-10.2.cudnn7.6\TensorRT-7.0.0.11\bin>trtexec --onnx=./yolov7.onnx --saveEngine=./yolov7_fp16.engine --fp16 --workspace=200 &&&& RUNNING TensorRT.trtexec # trtexec --onnx=./yolov7.onnx --saveEngine=./yolov7_fp16.engine -...