为了解决复杂RGBT数据的融合问题,我们提出了一种渐进式融合网络。首先,通过属性对融合过程进行解耦,能够使用较少模型参数实现多模态数据的有效融合,克服了对大规模训练数据的依赖。其次,我们为RGBT目标跟踪中挑战属性设计单独的融合分支。分支结构简单,因为它只需要学习特定挑战属性下的融合模式。我们只需要用带有特定属性标签的数据训练即
摘要:可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪生结构,首先将主干特征提取网...
爱企查为您提供一种基于目标感知增强融合结构的rgbt目标跟踪方法2024年专利信息查询,包括专利申请信息、专利类别、专利发明人等专利信息查询,让您更轻松的了解一种基于目标感知增强融合结构的rgbt目标跟踪方法专利信息,查询更多关于一种基于目标感知增强融合结构的rgbt目标
3.根据权利要求1所述的基于渐进式融合Transformer与动态指导学习的RGBT跟踪方 法,其特征在于,所述步骤S2包括: S21、将所述可见光与热红外模板帧、所述可见光与热红外搜索帧,分别输入预置骨干 网络ResNet50,以提取得到所述模板帧特征以及所述搜索帧特征; S22、将所述模板帧特征以及所述搜索帧特征的不同模态特征...
1.一种基于mamba架构的高效融合rgbt目标跟踪方法,其特征在于,采用vit blocks结构和全局-局部高效融合模块,所述的全局-局部高效融合模块包括通道交换和多路径mamba架构;通过将全局-局部高效融合模块放置于vit block结构之后,两模态特征将奇数索引处的通道相互交换进行信息交互,使用多路径mamba架构替换vit block结构中的self...
3、一种基于mamba架构的高效融合rgbt目标跟踪方法,采用vit blocks结构和全局-局部高效融合模块,所述的全局-局部高效融合模块包括通道交换和多路径mamba架构;通过将全局-局部高效融合模块放置于vit block结构之后,两模态特征将奇数索引处的通道相互交换进行信息交互,使用多路径mamba架构替换vit block结构中的self-attention,...