1.Nvidia控制面板里的cuda版本, 或使用nvidia-smi命令显示的cuda版本 是cuda的driver api版本 2.nvcc -V中的cuda版本,是cuda的runtime api版本,即cudatoolkit的版本 cudatoolkit的版本不能高于cuda driver api的版本,所以nvidia-smi的版本可以理解为所下载的cuda(即cudatoolkit)的最高版本 若nvcc -V命令有效,说明...
AutoGGUF轻松完成大模型量化 | AutoGGUF提供了一个图形用户界面,用于使用llama.cpp库量化GGUF模型。它允许用户下载不同版本的llama.cpp,管理多个后端,并使用各种选项执行量化任务。 主要功能如下: - 自动下载和管理 llama.cpp 后端(包括 CUDA) - 轻松的模型选择和量化 ...