1、安装pip install -U huggingface_hub添加环境变量 vim ~/.bashrc export HF_ENDPOINT= https://hf-mirror.com是设置一个代理地址 让环境变量生效 source ~/.bashrc测试一下 登陆 huggingface-cli login 输入tok…
建议使用 HuggingFace CLI下载,以 Llama-2-7b 为例 # 安装cli库$ pip install -U"huggingface_hub[cli]"#进行登录,这里需要获取token,位于 https://huggingface.co/settings/tokens#不需要输入用户名,直接粘贴生成的token即可$ huggingface-cli login _|_|_|_|_|_|_|_|_|_|_|_|_|_|_|_|_|_|_|_|...
1. 使用 下载模型 huggingface-cli download --resume-download gpt2 --local-dir gpt2 1. 下载数据 huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext 1. 默认cache 位置 $HOME/.cache/huggingface/hub 1. 加速 export HF_ENDPOINT=https://hf-mirror.com 1....
使用Readme中的命令可能出现安装的CLI 没有download 选项 可以使用 pip install -U "huggingface_hub[cli]" 来安装cli 来源
huggingface_hub cli 使用以及国内加速配置 主要是一个简单记录,方便后续使用 安装 pipinstall-Uhuggingface_hub 使用 下载模型 huggingface-clidownload--resume-downloadgpt2--local-dirgpt2 下载数据 huggingface-clidownload--repo-typedataset--resume-downloadwikitext--local-dirwikitext...
huggingface-cli download bert-base-uncased --exclude "*.msgpack" "*.onnx" "*.bin" "*.ot" "*.h5" # 或简单写法 huggingface-cli download bert-base-uncased --exclude *.msgpack *.onnx *.bin *.ot *.h5 思路 具体的huggingface-cli相关代码,在Github上 huggingface_hub仓库 /src/huggingface_hub...