感知聚合模块（Sensing Aggregation Module）：该模块的任务是将视觉和触觉数据进行处理和融合。具体做法是...
《人类视觉关于图像质量感知模型的研究》是依托西安交通大学，由牟轩沁担任项目负责人的重大研究计划。中文摘要 我们提出假设：人类视觉关于共同性和差异性的感知能力可能同样存在于早期视觉阶段，因此视觉关于图像质量差异的感知由早期视觉功能完成，在此基础上提出了形式简洁的NSE图像质量评估模型，现有的实验表明该模型优于...
BLINK 是一个针对多模态语言模型（Multimodal LLMs）的新基准测试，专注于评估其核心视觉感知能力，这些能力在其他评估中并未涉及。BLINK包含 14 项视觉感知任务，拥有3.8k个选择题和7.3k张图像。人类可以“一眨眼”之间解决这些任务 (例如，相对视深、视觉对应、目标定位，和多视角推理等)；但对当前的多模态大型语...
🥰近期兴起的视觉基础模型(Vision Foundation Models)为多样且高效的视觉感知任务打开了新思路。本期开放麦分享 Seal,一个运用视觉基础模型分割自动驾驶场景点云序列的新颖框架。 🥰Seal 有着以下三个重要特性: 延展性:Seal 将视觉基础模型中的知识直接蒸馏到点云中,避免了对 2D 或 3D 标注的依赖; ...
极越CEO夏一平:大模型虽好,但不能迷信 一个在自动驾驶领域里争论已久的问题是:智能汽车到底用什么感知外部环境,是视觉算法还是激光雷达? 为什么这个问题值得争论?因为感知环节相当于人的眼睛和耳朵,只有通过感知环节搜集车辆周围环境数据并将其传输到决策层,也就是大脑,才能下达指令,完成动力供给、方向控制、车灯控制...
《基于视觉感知模型的视频编码关键技术研究》是依托北京航空航天大学，由徐迈担任项目负责人的面上项目。项目摘要 近年来，随着智能终端的发展以及在线视频等新型业务的普及，网络中所传输的视频数据量呈爆炸式增长的趋势，网络带宽供求矛盾日益尖锐。视频编码理论是突破网络带宽瓶颈的重要途径之一。传统编码理论一直沿着数字...
《基于脉冲耦合神经网络的视觉感知模型理论与应用研究》是依托北京交通大学，由陈后金担任项目负责人的面上项目。项目摘要 本项目在深入研究脉冲耦合神经网络的工作机理、网络参数确定准则的基础上，结合基于仿生学思想提出的生物学启发模型，建立并形成可应用于计算机视觉和图像处理等领域的视觉感知模型以及理论与算法，为...
什么是BLINK? BLINK 是一个针对多模态语言模型(Multimodal LLMs)的新基准测试,专注于评估其核心视觉感知能力,这些能力在其他评估中并未涉及。 BLINK包含14 项视觉感知任务,拥有3.8k个选择题和7.3k张图像。 人类可以“一眨眼”之间解决这些任务 (例如,相对视深、视觉对应、目标定位,和多视角推理等);但对当前的多模...
什么是BLINK? BLINK 是一个针对多模态语言模型(Multimodal LLMs)的新基准测试,专注于评估其核心视觉感知能力,这些能力在其他评估中并未涉及。 BLINK包含14 项视觉感知任务,拥有3.8k个选择题和7.3k张图像。 人类可以“一眨眼”之间解决这些任务 (例如,相对视深、视觉对应、目标定位,和多视角推理等);但对当前的多模...