本人选择的是cu116版本对应的pytorch 直接使用pip install torch==1.12.1+cu116 ...命令下载,并且在torch、torchvison后都要+cu116, 最后下载的是gpu版本 本人的cuda driver API是11.6 ,一年前从官网装过cuda(cudatoolkit), nvcc -V返回的是11.2, 而pytorch适配的是cuda11.6,因此推测, 只要pytorch适配的cuda版...
AutoGGUF轻松完成大模型量化 | AutoGGUF提供了一个图形用户界面,用于使用llama.cpp库量化GGUF模型。它允许用户下载不同版本的llama.cpp,管理多个后端,并使用各种选项执行量化任务。 主要功能如下: - 自动下载和管理 llama.cpp 后端(包括 CUDA) - 轻松的模型选择和量化 ...