FusionMamba模型提出了以下几项关键创新点: 1.动态视觉状态空间模块(DVSS)这是对传统Mamba模型的增强版,旨在改善长距离特征建模,同时保持计算效率。DVSS模块通过动态卷积和高效通道注意力机制,减少通道冗余,提升了局部特征的提取能力。 2.动态特征融合模块(DFFM): 动态特征增强模块(DFEM):该模块通过动态增强纹理细节...
需要注意的是,在YOLOv5 Backbone 网络上未能实现有效的融合,例如,仅使用IR模态输入的简单YOLOv5检测框架达到了61.9%mAP,显著比融合方法DIVFusion高出9.9%mAP。使用相同的YOLOv5 Backbone 网络,作者的Fusion-Mamba方法相对于仅使用IR的YOLOv5检测框架获得了0.9%mAP的提升,并且还比最佳的先前融合方法RSDet高出1.5%mAP。...
与现有的融合方法不同,作者构建了Fusion-Mamba模块,用于在隐空间中对不同模态进行对齐,从而显著提升目标检测性能,最高可达5.9%。本文提出了一种新颖的Fusion-Mamba方法,用于跨模态目标检测任务。该方法通过State Space Channel Swapping (SSCS)模块和Dual State Space Fusion (DSSF)模块,实现了多模态特征的有效融合。...
创新点: Fusion-Mamba方法:作者引入了一种名为Fusion-Mamba的新方法,该方法首次利用Mamba进行多模态特征融合。在Fusion-Mamba中,作者设计了两个模块:State Space Channel Swapping (SSCS)模块用于浅层特征融合,Dual State Space Fusion (DSSF)模块用于在隐藏状态空间中进行深层特征融合。 2D选择性扫描(SS2D)机制:作者...
FusionMamba has yielded state-of-the-art (SOTA) performance across various multimodal medical image fusion tasks (CT-MRI, PET-MRI, SPECT-MRI), infrared and visible image fusion task (IR-VIS) and multimodal biomedical image fusion dataset (GFP-PC), which is proved that our model has ...
Depmamba: Progressive fusion mamba for multimodal depression detection 方法:本文提出DepMamba方法,通过Mamba模型结合音频和视频特征,实现高效的多模态融合。它利用层次化建模提取局部和全局特征,并通过逐步融合策略增强模态间协同性,从而提升抑郁检测的性能和效率。
MambaFusion-PAN：通过引入SSM，MambaFusion-PAN在保持线性复杂度的同时，提供了全局引导的感受野，提高了开放词汇检测的性能。例如，在COCO数据集上，Mamba-YOLO-World模型的AP值相比YOLO-World模型提高了0.4%至1.3%。PGSS算法：PGSS算法通过并行地将文本信息注入Mamba参数中，实现了对图像特征的全局引导，提高了特征...
FusionMamba: Dynamic Feature Enhancement for Multimodal Image Fusion with Mamba - millieXie/FusionMamba
Multi-Modality image fusion 基于深度学习的多模态图像融合研究利用了神经网络的强大拟合能力,实现了有效的特征提取和信息融合。根据模型的架构,现有方法可以分为三类:基于CNN和AE的方法、采用生成模型如GAN和扩散模型的方法以及利用Transformer(有些结合了CNN)的方法。
Xie et al. Visual Intelligence (2024) 2:37 https://doi.org/10.1007/s44267-024-00072-9 Visual Intelligence RESEARCH Open Access FusionMamba: dynamic feature enhancement for multimodal image fusion with Mamba Xinyu Xie1,2, Yawen Cui3, Tao Tan2, Xubin Zheng1 and Zitong Yu1* Abstract ...