然而,这需要科学上网(因为huggingface被墙了)。所以我们可以借助镜像网站hf-mirror.com - Huggingface 镜像站来下载。
hf-mirror-cli 使用国内镜像,无需配置开箱即用,快速下载hugingface上的模型 huggingfacehugging-facehfdhf-mirrorhuggingface-clihuggingface-cn-mirror UpdatedMar 7, 2024 Python Improve this page Add a description, image, and links to thehuggingface-clitopic page so that developers can more easily learn ab...
直接访问镜像站,获取文件URL 镜像站 https://hf-mirror.com。 设置HF_ENDPOINT 环境变量 HF_ENDPOINT 该变量是 HF 相关库官方支持的一个环境变量,设置后,相关库会尊重该变量指定的主机名,替换 huggingface.co 域名进行模型、数据集的下载和上传,从而做到无需修改python的transformers代码,即可利用上镜像站来加载模型...
最近实验室上不去huggingface了, 只好用镜像+cli下载, 结果就遇到了这么一个神秘问题... huggingface-cli会下载原文件(在我这里是.parquet文件), 然后load_dataset死活识别不了. 省去中间折腾了一个小时的周折, 最…