The primary goal of this project is to provide a cleaned and curated version of the Alpaca dataset that will improve the performance of natural language processing models trained on this data. By removing errors and inconsistencies, the goal is to improve performance of the fine-tuned llama model...
可以看到,在一台8卡的A800服务器上面,基于Alpaca-Lora_data_cleaned.json指令数据大概20分钟左右即可完成参数高效微调,相对于斯坦福羊驼训练速度显著提升。 参考文档: LLaMA Stanford Alpaca:斯坦福-羊驼 Alpaca-LoRA 于 202501-16 :58・IP 属地四川 内容所属 AI工程...
base_model: /data/nfs/guodong.li/pretrain/hf-llama-model/llama-7b data_path: /data/nfs/guodong.li/data/alpaca_data_cleaned.json output_dir: /home/guodong.li/output/lora-alpaca batch_size: 256 micro_batch_size: 16 num_epochs: 2 learning_rate: 0.0003 cutoff_len: 256 val_set_size: 200...
Stanford Alpaca中的alpaca_data.json文件即是他们用于训练的指令数据集,我们可以直接使用该数据集进行模型精调。但是在Alpaca-LoRA中提到该数据集存在一些噪声,因此,他们对该数据集做了清洗后得到了alpaca_data_cleaned.json文件。采用该数据集进行训练大概率会得到更好结果。
此外,如果你有指令调优数据集,则可以在 finetune.py 中编辑 DATA_PATH 以指向自己的数据集。需要注意的是这一项操作应该确保数据格式与 alpaca_data_cleaned.json 相同。接下来运行微调脚本: 代码语言:javascript 代码运行次数:0 运行 AI代码解释 cog run python finetune.py...
Stanford Alpaca提供用于训练的指令数据集alpaca_data.json,可以直接使用该数据集进行模型精调。但是在Alpaca-LoRA中提到该数据集存在一些噪声,因此,他们对该数据集做了清洗后得到了文件alpaca_data_cleaned.json。小伙伴们也可以采用该数据集进行训练,或许会得到更好结果。这里为了兼容中文,所以使用InstructionWild中的inst...
此外,如果你有指令调优数据集,则可以在 finetune.py 中编辑 DATA_PATH 以指向自己的数据集。需要注意的是这一项操作应该确保数据格式与 alpaca_data_cleaned.json 相同。接下来运行微调脚本: cog run python finetune.py 微调过程在 40GB A100 GPU 上花费 3.5 小时,对于处理能力较低的 GPU 则需要更多时间。
1：运行前请初始化GPT环境 conda activate gpt2：微调 cd /opt/alpaca-lora-main && python finetune.py --base_model '/opt/llama-7b-hf' --data_path 'yahma/alpaca-cleaned' --output_dir './lora-alpaca'这里可能需要很长时间，可以去做别事情。3：推理 cd /opt/alpaca-lora-main && python ...
此外,如果你有指令调优数据集,则可以在 finetune.py 中编辑 DATA_PATH 以指向自己的数据集。需要注意的是这一项操作应该确保数据格式与 alpaca_data_cleaned.json 相同。接下来运行微调脚本: cog run python finetune.py 1. 微调过程在 40GB A100 GPU 上花费 3.5 小时,对于处理能力较低的 GPU 则需要更多时间...
Alpaca dataset from Stanford, cleaned and curated. Contribute to gururise/AlpacaDataCleaned development by creating an account on GitHub.