在三个主流 RGB-T 单目标跟踪基准数据集上的大量实验表明,本章的方法在实现了新的 SoTA 性能的同时,也创造了高达 84.2FPS 的最快跟踪速度。 论文题目: USTrack: Unified Single-Stage Transformer Network for Efficient RGB-T Tracking 论文链接: https://arxiv.org/abs/2308.13764 代码链接: https://github....
摘要:可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪生结构,首先将主干特征提取网...
然后,将双嵌入层的所有输出级联为一个整体作为 ViT 主干网的输入,通过其中的自注意力层,来同时执行输入图像的特征提取,特征融合以及目标模板融合特征与搜索区域融合特征之间的关联建模操作,从而实现联合特征提取 & 融合 & 关联建模,统一 RGB-T 跟踪的三个功能阶段,为 RGB-T 跟踪提供一个高效的单阶段跟踪范式。 基...
然后,将双嵌入层的所有输出级联为一个整体作为 ViT 主干网的输入,通过其中的自注意力层,来同时执行输入图像的特征提取,特征融合以及目标模板融合特征与搜索区域融合特征之间的关联建模操作,从而实现联合特征提取 & 融合 & 关联建模,统一 RGB-T 跟踪的三个功能阶段,为 RGB-T 跟踪提供一个高效的单阶段跟踪范式。 基...