LLaVA-Med。我们提出了一种新颖的课程学习方法,将LLaVA调整到生物医学领域,使用我们自动生成的生物医学多模态指令遵循数据进行微调。具体而言,我们首先使用图像-文本对(使用通用指令简单要求图像的描述)对LLaVA进行微调以对齐生物医学词汇。然后,我们使用自动生成的指令遵循数据继续训练模型以学习开放性对话语义。通过这种方...
受最近的指令调整工作的启发,LLaVA-Med使用GPT-4根据PMC-15M中的图像-文本对生成多样的生物医学多模态指令遵循数据,并使用一种新颖的课程学习方法对大规模生物医学领域的VL模型进行微调。具体来说,本文贡献如下: 生物医学多模态指令遵循数据。我们提出了一种新颖的数据生成流程,通过从PMC-15M中采样生物医学图像-文本...