采用onnxruntime来部署onnx模型,不需要经过任何二次的模型转换。当然,不同的推理引擎会有不同优势,这里就不做对比了,这篇短文主要记录一下onnxruntime-gpu版本配置的一些主要步骤。 1. 基础镜像选择 这一步很重要,只有选择了正确的基础镜像,你才能顺利地使用onnxruntime-gpu版本。onnxruntime-gpu版本依赖于cuda...
首先，选择正确的基础镜像是部署ONNXRuntime GPU的关键。ONNXRuntime GPU依赖CUDA库，因此，镜像中必须包含CUDA动态库。在Docker Hub搜索PyTorch镜像时，选择带有CUDA库的devel版本（用于编译）是明智之举，尽管runtime版本在某些情况下也有效，但devel版本提供了更好的CUDA库支持。对于runtime和devel版本的...