我们可以用来搜索特定模型的配置文件,比如例子中的 internlm2_1_8b ,也可以用来搜索像是微调方法 qlora 。 根据上面的定向搜索指令可以看到目前只有两个支持 internlm2-1.8B 的模型配置文件。 ===CONFIGS=== PATTERN: internlm2_1_8b --- internlm2_1_8b_full_alpaca_e3 internlm2_1_8b_qlora_alpaca_e...
xtuner train internlm2_chat_1_8b_qlora_horo2ds_e3.py --deepspeed deepspeed_zero2 完成对于微调模型的hf模型生成: export MKL_SERVICE_FORCE_INTEL=1 # 配置文件存放的位置 export CONFIG_NAME_OR_PATH=/root/horo_mini/config/internlm2_chat_1_8b_qlora_horo2ds_e3.py # 模型训练后得到的pth格式参数...
model_type = "internlm2" _auto_class = "AutoConfig" def __init__( # pylint: disable=W0102 self, vocab_size=103168, hidden_size=4096, intermediate_size=11008, num_hidden_layers=32, num_attention_heads=32, num_key_value_heads=None, ...