多模态融合的动机在于联合利用来自不同模态的有效信息提升下游任务的准确性和稳定性。传统的多模态融合方法往往依赖高质量数据,难以适应现实应用中的复杂低质的多模态数据。 由天津大学、中国人民大学、新加坡科技研究局、四川大学、西安电子科技大学以及哈尔滨工业大学(深圳)共同发布的低质多模态数据融合综述《Multimodal Fu...
近期,自动驾驶多模态感知算法获得了长足的进步[15,77,81],从跨模态的特征表示、更可靠的模态传感器,到更复杂、更稳定的多模态融合算法和技术。然而,只有少数的综述[15, 81]聚焦于多模态融合的方法论本身,并且大多数文献都遵循传统分类规...
多模态融合的动机在于联合利用来自不同模态的有效信息提升下游任务的准确性和稳定性。传统的多模态融合方法往往依赖高质量数据,难以适应现实应用中的复杂低质的多模态数据。 由天津大学、中国人民大学、新加坡科技研究局、四川大学、西安电子科技大学以及哈尔滨工业大学(深圳)共同发布的低质多模态数据融合综述《Multimodal Fu...
前融合(数据级融合)指通过空间对齐直接融合不同模态的原始传感器数据。 深度融合(特征级融合)指通过级联或者元素相乘在特征空间中融合跨模态数据。 后融合(目标级融合)指将各模态模型的预测结果进行融合,做出最终决策。 本文则采用下图的分类方式,整体分为强融合和若融合,强融合进一步细分为:前融合、深度融合、不对称...
多模态传感器融合意味着信息互补、稳定和安全,长期以来都是自动驾驶感知的重要一环。然而信息利用的不充分、原始数据的噪声及各个传感器间的错位(如时间戳不同步),这些因素都导致融合性能一直受限。本文全面调研了现有多模态自动驾驶感知算法,传感器包括LiDAR和相机,聚焦于目标检测和语义分割,分析超过50篇文献。同传统融合...