pip install torch==2.0.0+cu118 torchvision==0.15.0+cu118 torchaudio==2.0.1+cu118 -f https://download.pytorch.org/whl/torch_stable.html 通过Conda安装: 对于使用Anaconda或Miniconda的用户,可以通过Conda来管理依赖关系,例如: bash conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c py...
torchvision-0.19.1+cu118-cp312-cp312-win_amd64.whl torchvision-0.19.1+cu118-cp311-cp311-win_amd64.whl torchvision-0.19.1+cu118-cp310-cp310-win_amd64.whl torchvision-0.19.1+cu118-cp39-cp39-win_amd64.whl torchvision-0.19.1+cu118-cp38-cp38-win_amd64.whl torchvision-0.19.1+cpu-cp31...
首先安装jetpack。从Nvidia SDK Manager安装 JetPack SDK 时,会自动安装 CUDA 及其支持库,如 cuDNN、cuda-toolkit,安装后即可使用;因此无需安装任何额外的东西即可开始使用 CUDA 库。 sudo apt update 拿到之后首先update一下,这样方便安装一些包;但是Upgrade就不要了,系统自带默认python是3.8,刚好可以安装官方提供的t...
torch-2.6.0+cu124-cp311-cp311-win_amd64.whl 下载 torch-2.6.0+cu124-cp310-cp310-win_amd64.whl 下载 torch-2.6.0+cu118-cp313-cp313-win_amd64.whl 下载 torch-2.6.0+cu118-cp312-cp312-win_amd64.whl 下载 torch-2.6.0+cu118-cp311-cp311-win_amd64.whl 下载 torch-2.6.0+cu118-cp...
2.0.0, 2.0.0+cpu, 2.0.0+cpu.cxx11.abi, 2.0.0+cu117, 2.0.0+cu117.with.pypi.cudnn, 2.0.0+cu118, 2.0.0+rocm5.3, 2.0.0+rocm5.4.2, 2.0.1, 2.0.1+cpu, 2.0.1+cpu.cxx11.abi, 2.0.1+cu117, 2.0.1+cu117.with.pypi.cudnn, 2.0.1+cu118, 2.0.1+rocm5.3, 2.0.1+rocm5.4.2...
(Retry(total=3, connect=None, read=None, redirect=None, status=None)) after connection broken by 'NewConnectionError('<pip._vendor.urllib3.connection.HTTPSConnection object at 0x0000027D86AB7940>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed')': /whl/cu118/torch...
步骤1:准备环境 # 创建 Python 虚拟环境 conda create -n deepseek python=3.10 conda activate deepseek # 安装 PyTorch(CUDA 11.8) pip3 install torch torchvision torchaudio --index-url链接 # 克隆仓库与依赖 git clone链接 cd DeepSeek-LLM pip install -r requirements.txt ...
torchvision-0.20.1+cu118-cp312-cp312-win_amd64.whl torchvision-0.20.1+cu118-cp311-cp311-win_amd64.whl torchvision-0.20.1+cu118-cp310-cp310-win_amd64.whl torchvision-0.20.1+cu118-cp39-cp39-win_amd64.whl torchvision-0.20.1+cpu-cp312-cp312-win_amd64.whl ...
pip install --target=/home/username/anaconda3/envs/yi/lib/python3.8/site-packages链接 到这里就可以跑AWQ量化模型的推理了 # 安装 huggingface_hubpip install --target=/home/username/anaconda3/envs/yi/lib/python3.8/site-packages huggingface_hub==0.17.3 安装 deepspeed ...