LAION发布新的多模态数据 | LAION最新发布新的多模态数据集DataComp,共包含12.8B图像文本对,其中筛选后的数据集 DataComp-1B含有1.4B样本,可以作为LAION-2B的平替,使用 DataComp-1B训练的CLIP ViT-L模型在ImageNet上的性能能达到79.2,超过LAION-2B训练的模型(75.2)。 链接 ...
具体而言,团队基于数据分布和图文匹配度将 LAION-2B 浓缩成 2M 核心集以得到更丰富的预训练数据,基于 DataOptim 和 SVIT 数据集精选得到更高质量的指令微调数据,从而训练得到性能强劲的小模型。 基于这一技术路线,BAAI推出新一代多模态小模型 Bunny 系列。其中,Bunny-v1.0-3B 取得了全新SOTA,性能全面碾压多个7B ...