peft_config = LoraConfig(task_type="SEQ_CLS", inference_mode=False, r=8, lora_alpha=16, lora_dropout=0.1, target_modules=["query_key_value"]) model = AutoModelForSequenceClassification.from_pretrained(model_name_or_path, return_dict=True, num_labels=labels) model = get_peft_model(model...
而方法 2(直接使用PeftModel.from_pretrained()加载 LoRA 权重)的输出与训练后的 LoRA 模型输出一致,说明被正确加载。 另外,你还可以看到方法 1 的模型架构会多一个 base_model.model 包裹,如果你感兴趣的话可以使用print(model1)进一步地查看,这证明了在加载 LoRA 之前使用get_peft_model()会干扰模型结构,导致...
下面是保存模型的正确方法。它也会保存标记器配置。