通过利用多视角摄像头，GPT-4V 可以捕捉驾驶环境的全面视图，该研究评估了 GPT-4V 处理多视图图像的能力。如下图 16 所示，该研究选择使用一组周围环境图像并以正确的顺序将它们输入到模型中。结果表明，GPT-4V 能够熟练地识别场景中的各种元素，例如建筑物、车辆、障碍物和停车场，甚至可以从重叠的信息中推断出场...
但是OpenAI总裁Greg Brockman自己却在X（推特）上，不断转发利用新版的GPT-4来实现的各种天马行空的功能。利用GPT-4V的多模态能力和代码能力，直接把一个写在书上的数学公式转化成一段Python代码。而利用GPT-4刚更新不久的语音功能，有人开始把它当成商务谈判的教练来进行模拟练习了。就在这个帖子下面，这位帝国理工...
近日，GPT-4V (ision) 由于出色的多模态感知和推理能力得到了大家格外的关注。然而，尽管 GPT-4V 具有前所未有的视觉语言理解能力，但其细粒度 visual grounding（输入是图片和对应的物体描述，输出是描述物体的 box）能力相对较弱，或者尚未发挥出来。举例来说，当用户询问下图中「放置在右边笔记本电脑的左边是什么物...
最近，来自清华大学交叉信息研究院的研究者提出「ViLa」算法，实现了让 GPT-4V 走进物理世界中，为机器人操作日常生活物品提供任务规划。ViLa 全称是 Robotic Vision-Language Planning，它利用 GPT-4V 在视觉和语言两个模态上做联合推理的能力，把抽象的语言指令分解为一系列可执行的步骤。ViLa 最让人惊喜的是它展现...
无需任何训练，GPT-4V就能直接像人类一样与智能手机进行交互，完成各种指定命令。比如让它在50-100美元的预算内购买一个打奶泡的工具。它就能像下面这样一步一步地完成选择购物程序（亚马逊）并打开、点击搜索栏输入“奶泡器”、找到筛选功能选择预算区间、点击商品并完成下单这一系列共计9个操作。根据测试，GPT-4V...
以 GPT-4V、谷歌 Bard 为代表的多模态大语言模型 (Multimodal Large Language Models, MLLMs) 将文本和视觉等模态相结合，在图像描述、视觉推理等各种多模态任务中展现出了优异的性能。然而，视觉模型长久以来存在对抗鲁棒性差的问题，而引入视觉模态的 MLLMs 在实际应用中仍然存在这一安全风险。最近一些针对开源 ML...
GPT-4V-Act，本质上是一个基于Web浏览器的AI多模态助手（Chromium Copilot）。它可以像人类一样用鼠标、键盘和屏幕“查看”网页界面，并通过网页中的交互按键进行下一步操作。要实现这种效果，除了GPT-4V以外，还用到了三个工具。一个是UI界面，可以让GPT-4V“看见”网页截图，也能让用户与GPT-4V发生交互。这样...
看起来，GPT-4V 在一些科目上已经强过挂科的大学生了。当然这个数据集的创造目的并不为了击败大学生，而是为了提供一个兼具深度与广度的多模态 AI 测试基准，助力人工智能系统的开发，尤其是通用人工智能（Artificial General Intelligence，AGI）。随着大型语言模型（LLM）快速发展，人们对 AGI 这一颇具争议的概念进行了...
本文探讨了GPT-4V(视觉)大型视觉语言模型在采矿环境中自动驾驶的应用,其中传统系统常常在理解意图和紧急情况下做出准确决策时遇到困难。GPT-4V引入了视觉问答和复杂场景理解的能力,解决了这些特殊环境中的挑战。我们的评估重点关注其在场景理解、推理和驾驶功能方面的熟练程度,特别测试了其识别和解释行人、各种车辆和交通...