(1)由于构建镜像根路径在TensorRT-LLM/下,在TensorRT-LLM/docker,创建sources.list文件,内容如下: # 默认注释了源码镜像以提高 apt update 速度,如有需要可自行取消注释 deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse # deb-src https://mirrors.tuna.tsinghua.edu...
git submodule update --init --recursive 3. 编译(第一次编译会拉一个镜像,耐心等待),注意:直接make是构建开发环境,开发环境不会将trt-llm编译进去,所以这里用了make release_build来构建正式版,编译大概需要一个小时,可以耐心等待。 cd docker make release_build 4. 编译完成后可以看到一个叫tensorrt_llm/rele...
Building docker image: tensorrt_llm/release:latest DOCKER_BUILDKIT=1 docker build --pull --progress auto --build-arg BASE_IMAGE=nvcr.io/nvidia/pytorch --build-arg BASE_TAG=23.08-py3 --build-arg BUILD_WHEEL_ARGS="--clean --trt_root /usr/local/tensorrt" ...