RGB-D信息就是标准的RGB图像信息中引入了深度信息,而深度信息可为RGB图像提供对应的几何关系。现有的大多数工作只是简单地假设深度测量是准确的,且与RGB像素能够良好地对齐,由此将该问题建模为交叉模式特征融合以获得更好的特征表示从而实现更准确的分割,但...
基于多层融合的卷积神经网络RGB-D显著性检测方法专利信息由爱企查专利频道提供,基于多层融合的卷积神经网络RGB-D显著性检测方法说明:本发明公开了一种基于多层融合的卷积神经网络RGB‑D显著性检测方法,包括:将VGG16网络中的...专利查询请上爱企查
本发明公开了一种基于多层融合的卷积神经网络RGB‑D显著性检测方法,包括:将VGG16网络中的全连层模块FC6和FC7转变为全卷积层、结合卷积层CONV1‑CONV5组成新的卷积神经网络;对新的卷积神经网络依次进行降维和融合操作,得到初始迭代的显著性检测结果;采用迭代优化对初始迭代的显著性检测结果进行细化;采用不同的训练...
LS-DeconvNet使用RGB-D数据,在每一个反卷积层结合了局部视觉信息和几何信息。我们的做法使网络不仅能够有更大的感受域,同时也可以恢复出更加精细的物体边缘。对于RGB-D数据的融合,我们引入了一个门式融合的层来有效的结合两个LS-DeconvNets。这一层可以学习RGB和Depth数据在每一个像素上的融合权值。 我们的算法在...
【摘要】 很多多模态任务,都需要融合两个模态的特征。特征融合即输入两个模态的特征向量,输出融合后的向量。最常用的方法是拼接(concatenation)、按位乘(element-wise product)、按位加(element-wise sum)。MCB的作者认为这些简单的操作效果不如外积(outer product),不足以建模两个模态间的复杂关系。但外积计算存在...
图2(a)描述了所提出的方法的整体框架,它由一个跨模态引导编码器和一个分割解码器组成,给定RGB-D数据作为输入,编码器通过SA-Gate单元对两种模态的互补信息进行重新校准和融合,然后通过双向多步传播(BMP)模块将融合后的多模态特征和特定模态特征一起传播。然后,这些信息被分割解码网络解码,生成分割图。
现有的大多数基于RGB-D的语义分割算法的标准做法是使用深度数据作为另一种输入,并采用特定的特征融合方案(例如,基于卷积和基于模态的相似性的融合方案)的完全卷积网络(FCN)类架构,以融合两种模态的特征。然后将融合的特征用于重新校准RGB特征响应或用于预测结果。尽管这些方法为统一这两种信息提供了可行的解决方案,但其...