第一个针对「Segment Anything」大模型的域适应策略来了！相关论文已被CVPR 2024 接收。引言 大语言模型（LLMs）的成功激发了计算机视觉领域探索分割基础模型的兴趣。这些基础分割模型通常通过 Prompt Engineer 来进行 zero/few 图像分割。其中，Segment Anything Model（SAM）是最先进的图像分割基础模型。图 SAM 在多个...
多模态大型语言模型(MLLMs)展示了强大的通用视觉理解能力,并在各种任务中取得了显著的性能,然后常见的多模态大预言模型只能处理低分辨率图片。低图像分辨率可能导致大量图像信息的丢失,从而导致模型性能下降。此外,通用的MLLMs在处理文档特定指令方面表现不佳。在本文中,我们提出了一种高分辨率视觉文档助手(HRVDA),它弥合...
在本次工作中, 我们提出了开创性的关于多模态视觉语言大模型的公平性的研究， 针对这项研究我们收集了第一个带有公平性族裔指标的视觉语言医疗大型数据集， 并且提出了针对视觉语言预训练的方法FairCLIP来尝试提升不同组别的公平性 （让不同组别的准确率接近）。论文地址: https://arxiv.org/pdf/2403.19949.pdf ...
本文的首发日期是 2023.12,属于大视觉模型的开山之作行列。本文提出一种序列建模 (sequential modeling) 的方法,不使用任何语言数据,训练大视觉模型 (Large Vision Model, LVM)。 作者定义了一种"视觉句子 (Visual Sentences)",它可以用...
FoundationPose是一个「用于6D物体姿态估计和跟踪」的统一大模型,支持基于模型和无模型设置,无需微调即可应用于新颖的物体上,只要给出其CAD模型,或者拍摄少量参考图像即可。 论文地址:https://arxiv.org/abs/2312.08344 项目主页:https://nvlabs.github.io/FoundationPose/ ...
(MLLM)和大语言模型(LLM)正在大规模数据集上进行训练,但以免训练的方式识别看不见的图像或理解新概念仍然是一个挑战。情境学习(ICL)探索免训练的小样本学习,鼓励模型从有限的任务中“学会学习”并泛化到未见过的任务。本文提出了链接上下文学习(LCL),
CVPR 2024 对 AI 和机器人技术的关注，凸显了先进计算模型、感知增强技术以及对人类场景深度理解等方面与机器人系统的逐步整合。机器人 首先，机器人（Robotics) 主题一共 29 篇，在 CVPR 2024 主题排名第 25 位，涉及机器人视觉、导航、操纵等研究，视觉感知是机器人实现智能化的关键。自动驾驶 其次，自动驾驶是...
文章转载自 @OpenGVLab 一、Motivation在过去的两年里,计算机视觉领域涌现出了多种不同的多模态大模型(LVLM),如BLIP2, MiniGPT4等。这些大模型在多种不同的视觉任务上取得了亮眼的效果。为了准确评估多模态大…
由于现有多模态大模型的基座取自大语言模型,其因果语言模型的特点使其在浅层时将前文 token 的信息聚合到 summary token,同时在深层时主要利用 summary token 中聚合的信息来预测整个序列的下一个 token(见下图图 a)。 这一现象非常类似于人类在处理长文本时也经常使用的阶段性总结的习惯,有助于更高效地处理大量...
第一,回答更准确:基于排序的偏好数据在训练正例中仍然可能包含幻觉,例如下图中对时钟具体时间的识别,包括 GPT-4V 在内的模型都频繁出现错误,而人工修改的答案能够保证训练正例准确无误,极大提高多模态偏好数据的质量。 第二,无歧义的回答偏好判断:关于丰富图像内容的优质回答一般长而复杂,标注人员对这些回答进行优劣...