2.4 下载指定的数据集 huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext 1. 3. 命令解释和其他情况 3.1 下载全部文件,需要添加--resume-download参数,此时将保存至/root/.cache/.../文件夹中 3.2 当需要下载指定文件夹中,需要添加--local-dir参数,此时将保存至...
根据snapshot_download的定义,allow_patterns (List[str] or str, *optional*),与第1条中的定义匹配。 最后,在 src/huggingface_hub/utils/_paths.py文件中,定义了 filter_repo_objects方法,将仓库中的文件列表,使用 fnmatch库(也就是Unix shell 风格的通配符) 与用户指定的格式一一匹配。 发布于 2024-03-11...
--exclude (可选)指定要排除下载的文件模式(支持多个模式)。 --hf_username (可选)Hugging Face用户名用于认证(非邮箱)。 --hf_token (可选)Hugging Face令牌用于认证。 --tool (可选)使用的下载工具:aria2c(默认)或wget。 -x (可选)aria2c的下载线程数(默认:4)。 -j (可选)aria2c的并发下载数(...