LLaMA-Factory是一个在github上开源的,专为大模型训练设计的平台。项目提供中文说明,可以参考官方文档:https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md 为什么要学习LLaMA-Factory? 大模型技术发展到现在,企业想要真正利用大模型做些事情,一定需要懂得大模型微调的过程。注意,这里说的是过程,而不...
--lora_target:LoRA作用模块,默认模块应作为该参数的默认值,可使用--lora_targetall参数指定全部模块。 --model_name_or_path:模型地址。 --do_train:表示进行训练。 --dataset:使用的数据集。 --finetuning_type:微调的方法。 --output_dir:断点保存,保存模型断点的位置。 --overwrite_cache:表示是否覆盖缓存...
--output_dir ../../saves/Qwen1.5-32B-Chat/lora/sft-multiorg-2\ --overwrite_cache \ --overwrite_output_dir \ --cutoff_len 4096 \ --preprocessing_num_workers 16 \ --per_device_train_batch_size 2 \ --per_device_eval_batch_size 2 \ --gradient_accumulation_steps 2 \ --lr_scheduler...
v_proj\ --output_dir $OUTPUT_PATH \ --overwrite_cache \ --overwrite_output_dir \ --warmup_steps 100 \ --weight_decay 0.1 \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 4 \ --ddp_timeout 9000 \ --learning_rate 5e-6 \ --lr_scheduler_type cosine \ --...
LLaMA-Factory 官方Github仓库:https://github.com/hiyouga/LLaMA-Factory 关于 本文是对LLaMA-Factory入门教程https://zhuanlan.zhihu.com/p/695287607的个人重制版,记录一下学习过程,省略掉了很多文字部分,建议直接阅读https://zhuanlan.zhihu.com/p/695287607 ...
--overwrite_cache \ --per_device_train_batch_size 1 \ --per_device_eval_batch_size 4 \ --gradient_accumulation_steps 16 \ --preprocessing_num_workers 16 \ --lr_scheduler_type cosine \ --logging_steps 10 \ --save_steps 10000 \ ...
保存训练结果的路径 --overwrite_cache: 覆盖缓存的训练集和评估集 --per_device_train_batch_size 4: 每个gpu的批处理大小,训练参数 --gradient_accumulation_steps 4:梯度累计的步数,训练参数 --lr_scheduler_type cosine:学习率调度器,训练参数 --logging_steps 10:每两次日志输出间的更新步数,训练参数 --sav...
--overwrite_cache \ --preprocessing_num_workers 16 \ --plot_loss \ --overwrite_output_dir \ --per_device_train_batch_size 1 \ --fp16 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19.
--overwrite_cache: 覆盖缓存的训练集和评估集--per_device_train_batch_size 4: 每个gpu的批处理大小,训练参数--gradient_accumulation_steps 4:梯度累计的步数,训练参数--lr_scheduler_type cosine:学习率调度器,训练参数--logging_steps 10:每两次日志输出间的更新步数,训练参数--save_steps 1000:每两次断点...
llamafactory-cli train -h 3.3 模型下载与可用性校验 项目支持通过模型名称直接从huggingface 和modelscope下载模型,但这样不容易对模型文件进行统一管理,所以这里笔者建议使用手动下载,然后后续使用时使用绝对路径来控制使用哪个模型。 以Meta-Llama-3-8B-Instruct为例,通过huggingface 下载(可能需要先提交申请通过) ...