PMC-OA 数据集涵盖了多种不同的模态和疾病类型,大多数图像-标题样本在更细的层面上进行了对齐,即子图形和子标题。 使用PMC-OA 数据集预训练的 CLIP 风格模型,名为 PMC-CLIP,在多个下游任务上取得了前所未有的结果。这些任务包括 ROCO 的图像-文本检索、MedMNIST图像分类和医学视觉问答(Medical VQA)。具体表现为...