int(r[2]),int(r[3])label=result.names[int(box.cls)]confidence=box.confifconfidence>0.5:# ...
本发明公开了一种基于注意力多模态特征融合的无监督RGB-T目标跟踪方法,先采用分层卷积神经网络来提取RGB图像和热红外图像的特征;再使用特征融合模块将来自不同水平及不同模态的特征进行同步融合;再对融合得到的特征进行两次前向跟踪得到响应图;接着,将融合特征逆序,原先的模板图作为搜索图,搜索图作为模板图,生成的响应...
基于多模态RGB-T的显著性目标检测算法 刘东;毕洪波;任思琪;于鑫;张丛 【期刊名称】《吉林大学学报(信息科学版)》 【年(卷),期】2024(42)3 【摘要】针对RGB(Red Green Blue)模态与热度模态信息表征形式不一致,特征信息无法有效挖掘、融合问题,提出了一种新的联合注意力强化网络-FCNet(Feature Sharpening and ...
为应对这一挑战,提出了一个多模态特征对齐融合网络(AFNet),专门针对弱对齐RGBT SOD.该网络由三个主要模块组成:分布对齐模块(DAM),注意力引导的可变形卷积对齐模块(AGDCM)和交叉融合模块(CAM).DAM基于最优传输理论,使热红外和RGB特征的分布尽可能接近,实现特征的初步对齐.AGDCM基于可变形卷积,在学习特征偏移量的...
LightFC-X:轻量级卷积跟踪器 | 尽管在多模态跟踪方面取得了长足的进步,但这些跟踪器对于资源受限的设备来说仍然过于笨重和昂贵。为了缓解这个问题,我们提出了LightFC-X,这是一系列轻量级的卷积RGB-X跟踪器,旨在探索一种用于轻量级多模态跟踪的统一卷积架构。我们的核心思想是实现轻量级的跨模态建模以及目标的多模态特征...