TensorRT前言 TensorRT是nvidia官方开源的加速推理框架,适用于流行的深度学习框架:pytorch、tensorflow、Caffe等。TensorRT(下面简称trt)需要与nvidia提供的显卡一起使用,没有nvidia的cuda无法使用。提高部署推理的方法有2种,一种是训练过程中需要进行优化加速的,比如模型压缩、模型剪枝、量化、知识蒸馏,另外一种是训练完成后...