根据大模型文件的实际挂载路径,修改默认填充的子模型参数配置。 Qwen-VL-Chat PreProcess子模型 需要修改参数配置中的以下字段: tokenizer_dir:将值修改为 tokenizer 文件夹的挂载路径。 vit_path:将它的值修改为 vit engine 文件夹下 .plan 文件的路径。
代码中添加了model_name_or_path = "H:/ali-qwen/Qwen-VL/output_dir"为上一步模型训练的输出地址,通过peft的PeftModel在模型加载的时候使用如下方式将我们自己训练的模型参数添加到预训练模型中。并且将modelscope相关加载方式换成了transformers的。 model = PeftModel.from_pretrained(model, model_id=model_name...
例如,LLaVA-MoD-2B在这些基准测试上平均比Qven-VL Chat-7B高出8.8%,仅使用0.3%的训练数据和23%的可训练参数。 此外,它在多个幻觉基准测试上达到了基于RLHF方法(如7B和13B参数)的性能。具体来说,LLaVA-MoD-2B在Object HalBench上的响应级幻觉率比RLHF-V高出8.2%,幻觉率高出21.3%。令人印象的结果证明了...