图2(a)描述了所提出的方法的整体框架,它由一个跨模态引导编码器和一个分割解码器组成,给定RGB-D数据作为输入,编码器通过SA-Gate单元对两种模态的互补信息进行重新校准和融合,然后通过双向多步传播(BMP)模块将融合后的多模态特征和特定模态特征一起传播。然后,这些信息被分割解码网络解码,生成分割图。 图2.(a)本...
(3) 提出了一种三维软特征融合模块,通过数据驱动的方式将多模态的跨视角二维特征与三维特征进行融合,解决了特征关联的模糊性问题。 (4) 提出了一种自监督的三维特征评分模块,提高了场景扫描数据的关键点选择质量,使得算法在少量关键点下就能达到先进的注册性能。 实验结果 图2 使用不同特征的RGB-D扫描片段注册比较...
RGB-D多模态特征融合3D目标检测方法 (57)摘要 本发明提出RGB‑D多模态特征融合3D目标检测方法。3D目标检测技术可以获得目标的语义信息、空间尺寸信息,对实现3D智能目标检测着重要的意义。具体来说:首先,改进YOLOv3目标检测网络模型得到2D先验区域,并提出RGB‑D目标显著性检测算法提取目标像素、通过视锥投影获取目标视...
多模态多拼接的RGB-D显著性目标检测方法.pdf,本发明公开了一种多模态多拼接的RGB‑D显著性目标检测方法。本发明采用ResNet50对RGB图像和经过处理的三通道深度图像进行预训练,并且从预训练中提取特征信息相互交叉结合,这是在现有方法中基本没有运用过的;在后期设计的模
一种自适应融合多模态特征的6D物体位姿估计方法 针对6D位姿估计在处理弱纹理物体时面临配准精度低的问题,提出一种自适应融合多模态特征的6D物体位姿估计方法.首先,基于RGB-D图像标定目标物体,利用球形邻域对由深度信... 臧传方,党建武,雍玖 - 《激光与光电子学进展》 被引量: 0发表: 2025年 加载更多0关于...
当前的语义分割主要利用RGB图像,加入多源信息作为辅助(depth, Thermal等)可以有效提高语义分割的准确率,即融合多模态信息可以有效提高准确率。当前方法主要包括两种: Input fusion: 如下图a所示,将RGB和D数据拼接在一起,使用一个网络提取特征。 Feature fusion: 如下图b所示,将分别用两个网络提取RGB和D的特征,然后...
摘要 本发明公开了一种基于非对称双流网络的RGB‑D多模态融合人员检测方法,属于计算机视觉与图像处理领域。包含RGBD图像采集,深度图像预处理,RGB特征提取和Depth特征提取,RGB多尺度融合和Depth多尺度融合,多模态特征通道重加权以及多尺度人员预测;本发明针对传统对称型RGBD双流网络易导致深度特征流失的问题,设计非对称RG...
技术分别从RGB-D图像(RGB图像和深度图像两种模态)中提取RGB特征和深度特征,然后根据不同模态的特征对物体识别率的贡献进行特征级融合得到多模态融合特征,最后送入SVM分类器进行分类识别,并调整融合参数寻求最优识别率.在RGB-D数据集上进行分类识别实验,结果表明该方法的物体分类识别率能够达到83.6%,比其他方法提高了1%...
本发明属于计算机视觉领域,具体涉及一种基于多模态特征融合的RGB‑D图像语义分割方法。由于RGB和深度特征的内在差异,如何更有效地融合两种特征仍是有待解决的问题。为了解决该问题提出了注意力引导多模态交叉融合分割网络(ACFNet),本发明采用编码器-解码器结构,将深度图编码为HHA图像,设计非对称双流特征提取网络,RGB和...
一种多模态多拼接的RGB-D显著性目标检测方法专利信息由爱企查专利频道提供,一种多模态多拼接的RGB-D显著性目标检测方法说明:本发明公开了一种多模态多拼接的RGB‑D显著性目标检测方法,包括如下步骤:S1、将图像划分不重...专利查询请上爱企查