以internlm2_1_8b_qlora_alpaca_e3举例: 虽然我们用的数据集并不是alpaca而是我们自己通过脚本制作的小助手数据集 ,但是由于我们是通过QLoRA的方式对internlm2-chat-1.8b进行微调。 xtuner copy-cfg 而最相近的配置文件应该就是internlm2_1_8b_qlora_alpaca_e3,因此我们可以选择拷贝这个配置文件到当前目录: # ...
xtuner train internlm2_chat_1_8b_qlora_horo2ds_e3.py --deepspeed deepspeed_zero2 完成对于微调模型的hf模型生成: export MKL_SERVICE_FORCE_INTEL=1 # 配置文件存放的位置 export CONFIG_NAME_OR_PATH=/root/horo_mini/config/internlm2_chat_1_8b_qlora_horo2ds_e3.py # 模型训练后得到的pth格式参数...