所以我们可以借助镜像网站hf-mirror.com - Huggingface 镜像站来下载。
原文发布于本人博客:如何快速下载huggingface大模型 - padeoe的小站这是博主第一次上知乎发文章,欢迎评论、交流! Update: 推荐 huggingface 镜像站: https://hf-mirror.com。Update: 推荐官方的 huggingface-cli 命令行工具、以及本人开发的 hfd脚本。 AI开发绕不过一个问题是,如何从hugging face下载模型/数据集,相...
HuggingFace 的模型通常可以通过 git clone 模型地址下载,但是这样会导致clone下来非常大的 .git 目录,里面包含模型历史版本 ,虽然可以使用depth=1 但是lfs仍然会报一些checkout错误 在执行某些项目的时候也会自动下载模型到pythonlib目录,但是这样的方式对于使用 Venv/Conda 之类多环境调试不太方便 建议使用 HuggingFace ...
在huggingface官网上,Command Line Interface,对于cli工具的介绍中,包含/排除特定文件只举了以下例子: huggingface-cli download stabilityai/stable-diffusion-xl-base-1.0 --include "*.safetensors" --exclude "*.fp16.*"* huggingface-cli upload Wauplin/space-example --repo-type=space --exclude="/logs/...
下载: huggingface-cli download your-dataset --local-dir path 加载: 从path里面找到你的所有数据文件, 不妨记作xxx.parquet load_datasets('parquet', data_files={'train':'path/xxx.parquet','test':other-files}) 换句话说你得根据你下载的数据集的readme手动去把数据找出来=v=发布...