图2(a)描述了所提出的方法的整体框架,它由一个跨模态引导编码器和一个分割解码器组成,给定RGB-D数据作为输入,编码器通过SA-Gate单元对两种模态的互补信息进行重新校准和融合,然后通过双向多步传播(BMP)模块将融合后的多模态特征和特定模态特征一起传播...
本文提出了一种新颖的鲁棒场景三维扫描注册算法,通过对RGB-D多模态数据进行学习,并利用多视角图像信息来补充三维几何特征,显著地提升了三维场景扫描片段的注册性能。通过提取二维图像平面和三维空间的特征,本方法能有效挖掘出只存在于纹理空间 (例如,几何形状为平面但具有丰富纹理特征的海报) 或几何空间 (例如,弱纹理的...
图2(a)描述了所提出的方法的整体框架,它由一个跨模态引导编码器和一个分割解码器组成,给定RGB-D数据作为输入,编码器通过SA-Gate单元对两种模态的互补信息进行重新校准和融合,然后通过双向多步传播(BMP)模块将融合后的多模态特征和特定模态特征一起传播。然后,这些信息被分割解码网络解码,生成分割图。 图2.(a)本...
多模态多拼接的RGB-D显著性目标检测方法.pdf,本发明公开了一种多模态多拼接的RGB‑D显著性目标检测方法。本发明采用ResNet50对RGB图像和经过处理的三通道深度图像进行预训练,并且从预训练中提取特征信息相互交叉结合,这是在现有方法中基本没有运用过的;在后期设计的模
JL模块通过Siamese网络利用跨模态共性,提供了健壮的显著特征学习,而DCF模块则用于发现互补特征。使用五种常用指标进行了实验,结果表明,所设计的框架具有良好的鲁棒性和泛化性。同时,JLDCF在七个具有挑战性的数据集上显著提高了SOTA模型的平均2.0% (F-measure)。此外,我们表明,JL-DCF很容易适用于其他相关的多模态检测...
RGB-D多模态人脸识别方法研究.PDF,摘要 人脸识别是一个历史悠久的研究课题。随着机器学习,尤其是深度学习的发展,以 及大数据的爆炸式增长,二维图像人脸识别技术近几年获得了长足的进步。然而,由于 二维图像对姿态、光照、表情等因素的敏感性,在较为恶劣的条件,诸如巨
深度敏感注意力和自动多模态融合的深度 RGB-D显著性物体检测(SOD)通常被表述为对RGB和深度这两种模式进行分类或回归的问题。 因此,有效的RGB-D特征建模和多模式特征融合都在RGB-D SOD中起着至关重要的作用。 来自浙江大学的研究者提出了一种使用显着对象的深度方向几何先验的深度敏感RGB特征建模方案。 原则上,...
本发明提出RGB‑D多模态特征融合3D目标检测方法。3D目标检测技术可以获得目标的语义信息、空间尺寸信息,对实现3D智能目标检测着重要的意义。具体来说:首先,改进YOLOv3目标检测网络模型得到2D先验区域,并提出RGB‑D目标显著性检测算法提取目标像素、通过视锥投影获取目标视锥点云;其次,为了去除离群点并减少目标视锥点...
该算法首先利用稀疏编码和池化技术分别从RGB-D图像(RGB图像和深度图像两种模态)中提取RGB特征和深度特征,然后根据不同模态的特征对物体识别率的贡献进行特征级融合得到多模态融合特征,最后送入SVM分类器进行分类识别,并调整融合参数寻求最优识别率.在RGB-D数据集上进行分类识别实验,结果表明该方法的物体分类识别率能够...
RGB-D多模态人脸识别方法研究.PDF,摘要 人脸识别是一个历史悠久的研究课题。随着机器学习,尤其是深度学习的发展,以 及大数据的爆炸式增长,二维图像人脸识别技术近几年获得了长足的进步。然而,由于 二维图像对姿态、光照、表情等因素的敏感性,在较为恶劣的条件,诸如巨