随着大语言模型进入多模态时代,LLaVa、MiniGPT-4、BLIP-2、InstructBLIP等开源视觉-语言大模型接踵而至,它们在视觉编码器、大语言模型、训练方案等关键方面各不相同,颇有“乱花渐欲迷人眼”之感。近日,Standford的Percy Liang团队在LLaVa-v1.5的基础上对各种视觉-语言模型的关键组件进行了系统的消融实验分析,总结成了...
统一视觉-语言理解和生成,使用captioner+filter高效利用互联网有噪数据 模型架构: Image/text encoder:ITCloss对齐视觉和语言表征,基于ALBEF提出的momentum distillation Image-grounded text encoder:ITM loss建模视觉-语言交互,区分positive/negative图文对,使用hard negative mining挖掘更高相似度的负例优化模型 Image-groun...
单模态AI的辉煌已经实现，如语言模型（如GPT）、视觉模型（如ResNet）以及语音模型（如Wav2Vec）虽取得了耀眼成就，但现实世界的复杂性无法仅靠单一模态理解。试想，视频会议中不仅需要捕捉语言内容，还需解析肢体语言；自动驾驶需要整合视觉与雷达数据，全面判断交通环境。这一多维需求正推动多模态AI技术的崛起。随着Op...
在本次工作中, 我们提出了开创性的关于多模态视觉语言大模型的公平性的研究， 针对这项研究我们收集了第一个带有公平性族裔指标的视觉语言医疗大型数据集， 并且提出了针对视觉语言预训练的方法FairCLIP来尝试提升不同组别的公平性 （让不同组别的准确率接近）。论文地址: https://arxiv.org/pdf/2403.19949.pdf ...
本研究提出了ParGo(局部-全局投影器),一种创新的视觉-语言投影方案,旨在提升多模态大语言模型(MLLMs)中视觉和语言模态的对齐效果。 ParGo通过结合局部token和全局token,并使用精心设计的注意力掩码分别提取局部和全局信息,在控制token数量的...
论文提出了Mini-Gemini，一个精简而强大的多模态VLM框架。Mini-Gemini的本质在于通过战略性框架设计、丰富的数据质量和扩展的功能范围，发掘VLM的潜在能力。其核心是补丁信息挖掘，它通过与高分辨率候选项交互，实现了高效提取细节视觉线索的功能。从数据角度来看，论文精心汇编的高质量数据集确保了准确的视觉-语言对齐，并...
深度视觉-语言模态融合,而不影响LLM原有的语言能力:冻住LLM和ViT,在attention和FFN层训练一份视觉专家模块 CogAgent 【2023.12发布】https://arxiv.org/abs/2312.08914 针对GUI场景的多模态理解和导引,使用高分辨率-低分辨率双编码器,支持1120x1120的屏幕输入 ...
Umar Jamilhttps://www.youtube.com/watch?v=vAmKB7iPkWw这个视频详细介绍了一种叫做Polygamma的视觉语言模型,它能理解图像并根据提示生成文本回应。视频解释了这个模型是如何将视觉编码器和变换器语言模型结合在一起的。根据视频,视觉编码器利用对比学习生成与相应文本嵌
公平性在深度学习中是一个关键问题,尤其是在医疗领域,这些模型影响着诊断和治疗决策。尽管在仅限视觉领域已对公平性进行了研究,但由于缺乏用于研究公平性的医疗视觉-语言(VL)数据集,医疗VL模型的公平性仍未被探索。 为了弥补这一研究空白,我们介绍了第一个公平的视觉-语言医疗数据集(FairVLMed),它提供了详细的人口...
SOLO集成了图像和语言能力,支持基于数据的视觉表示和参数分配,简化缩放法则分析。允许处理高分辨率和非标准纵横比的图像。大规模训练时,可无缝集成现有的大规模Transformer预训练软件框架。 3.1 模型架构 (1) 统一的视觉特征处理 SOLO保留了图像的原始分辨率和纵横比,通过将图像分割为多个小块(补丁)并转换为嵌入的方式,...