QWen1.5-0.5B + alpach_gpt4_zh freeze LLaMA-Factory是一个非常好用的开源微调大模型工具。 GitHub:github.com/hiyouga/LLaM LLaMA-Factory介绍 项目特色 多种模型:LLaMA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。 集成方法:(增量)预训练、指令监督微调、奖励模型训练、PPO 训练、...
--dataset alpaca_gpt4_zh,glaive_toolcall_100k,identity ^ --cutoff_len 1024 ^ --learning_rate 0.0002 ^ --num_train_epochs5.0 ^ --max_samples 500 ^ --per_device_train_batch_size 4 ^ --gradient_accumulation_steps 4 ^ --lr_scheduler_type cosine ^ --max_grad_norm 1.0 ^ --logging_s...
数据集的格式要求在不同的阶段是不同的,本教程以sft阶段的数据集需求,将以系统自带的identity数据集和将自定义的一个商品文案生成数据集为例,介绍数据集的使用。更多详情可以在https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README_zh.md 中找到相关解释。 系统目前支持 alpaca 和sharegpt两种数据格式...
--model_name_or_path /root/workspace/models-modelscope/Meta-Llama-3-8B-Instruct \ --dataset alpaca_gpt4_zh,identity,adgen_local \ --dataset_dir ./data \ --template llama3 \ --finetuning_type lora \ --output_dir ./saves/LLaMA3-8B/lora/sft \ --overwrite_cache \ --overwrite_output...
from llmtunerimportrun_exprun_exp(dict(stage="sft",do_train=True,model_name_or_path="Qwen/Qwen1.5-0.5B-Chat",dataset="identity,alpaca_gpt4_en,alpaca_gpt4_zh",template="qwen",finetuning_type="lora",lora_target="all",output_dir="test_identity",per_device_train_batch_size=4,gradient_...
--dataset alpaca_gpt4_zh \ --template default \ --finetuning_type lora \ --lora_target q_proj,v_proj \ --output_dir path_to_sft_checkpoint \ --overwrite_cache \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 4 \ ...
accelerate launch src/train_bash.py \--stagesft \--do_trainTrue \--model_name_or_pathZhipuAI/chatglm3-6b \--finetuning_typelora \--use_unslothTrue \--templatechatglm3 \--dataset_dirdata \--datasetalpaca_gpt4_zh \--cutoff_len512 \--learning_rate5e-05 \--num_train_epochs2.0 \-...
LLamafactory训练Qwen2 7B大模型记录,使用的数据集CoT_chinese_data,alpaca_gpt4_data_zh,gaokao三个数据集合计是74771条数据,A100*280G训练了一天。训练命令:llamafactory-clitrain\--stagesft\--do_trainTrue\--model_name_or_path/data/llmservice/m
Available add-ons Advanced Security Enterprise-grade security features GitHub Copilot Enterprise-grade AI features Premium Support Enterprise-grade 24/7 support Pricing Search or jump to... Search code, repositories, users, issues, pull requests... Provide feedback We read every piece of ...
Wikipedia (zh) Pile (en) SkyPile (zh) The Stack (en) StarCoder (en) Supervised fine-tuning datasets Stanford Alpaca (en) Stanford Alpaca (zh) GPT-4 Generated Data (en&zh) Self-cognition (zh) Open Assistant (multilingual) ShareGPT (zh) ...