本发明属于语义分割技术领域,尤其为一种RGBT双模态特征融合的语义分割方法,包括如下步骤:步骤1,构建网络模型:整个网络主要由双分支编码器和解码器,注意力融合模块两部分组成;步骤2,准备数据集:对整个卷积网络先用语义分割数据集进行训练;步骤3,训练网络模型:将步骤2中准备好的数据集输入到步骤1中构建好的网络模型中...
基于多模态特征融合的RGBT目标跟踪研究 本文提出了一种基于多模态特征双向增强的RGBT跟踪网络.首先,网络联合模态的特定特征和共享特征来充分建模物体的外观表示.其次,本文设计了双向特征融合模块来充分融合... 赵伟 - 《安徽大学》 被引量: 0发表: 2023年 融合多模态特征的RGB-T目标跟踪算法研究 视觉目标跟踪旨在...
预测显著性:对rgb或热红外图像,从支柱网络的不同深度提取粗糙的多级特征;构建邻近深度特征融合模块,提取改善的多级单模态特征;构建多分支组融合模块,对不同模态特征进行融合;得到融合输出特征图;训练网络得到模型参数;预测rgb-t图像的像素级显著图。
专利权项:1.一种基于注意力多模态特征融合的无监督RGB-T目标跟踪方法,其特征在于:包括如下步骤:1将裁减为125×125大小的三个视频帧的RGB图像及其对应的热红外图像输入到两层卷积网络进行特征提取,得到各图像的第一水平特征和第二水平特征;2利用特征融合模块同时融合跨模态和跨水平的特征,得到融合后的模板特征T及两...
本发明公开了一种基于RGBT多尺度特征融合的电气设备故障检测方法,包括:将RGB图像和对应的T图像构成RGBT图像;对多通道RGBT图像中的RGB图像和T图像分别进行不同尺度特征提取,并将不同尺度特征进行交叉融合,构建图像目标分割模型;根据损失函数,通过标签样本对图像目标分割模型的输出进行深度监督训练;将待检测RGBT图像输入...
在测试数据集上,利用步骤(5)得到的网络模型参数,对步骤(4)中得到的边输出特征图和融合输出特征图,通过sigmoid分类计算,预测RGB-T图像的像素级显著图。 2.如权利要求1所述的多级深度特征融合的RGB-T图像显著性目标检测方法,其特征在于,步骤(1)中所述的图形为RGB图像或热红外图像。 3.如权利要求1所述的多级深度...
一种RGBT目标跟踪模型的训练方法及装置 本发明公开了一种RGBT目标跟踪模型的训练方法及装置,方法包括:1),构建依次由稠密特征聚合模块以及分类模块组成的跟踪模型,稠密特征聚合模块包括提取可见光图像特征的第一卷积层序列;以及提取热红外图像特征的第二卷积层序列,第一卷积层中的与第二卷积层中... 李成龙,罗斌,朱亚...