因此,提高多模态特征的融合质量以及构造轻量级的显著性检测模型具有重要的研究意义。本文以探索更加符合人类双目视觉感知机理的RGB-D显著性检测模型为主要目标,针对显著性模型构建过程中的多模态特征有效提取和融合优化,以及模型轻量化等问题,进行了一系列相关研究。本文主要的工作内容及创新性研究成果具体总结如下:(1)...
现有的大多数基于RGB-D的语义分割算法的标准做法是使用深度数据作为另一种输入,并采用特定的特征融合方案(例如,基于卷积和基于模态的相似性的融合方案)的完全卷积网络(FCN)类架构,以融合两种模态的特征。然后将融合的特征用于重新校准RGB特征响应或用于预测...
(1) layer-wise 提出了layer-wise attention(LWA),根据深度图(D)的准确程度,动态确定每层的具体融合策略,越准确的D,应该越早被充分融合,因为他们的轮廓会给予RGB很大的指导 (2) trident spatial, attention mechanisms. 提出trident spatial attention (TSA) 提取更广阔的空间上下文特征,解决了D不对齐的问题 具体...
1.一种特征融合的RGB-D相机运动估计方法,其特征在于,包括以下步骤: 步骤一,二维点和直线特征提取:在RGB图片上,分别用特征点检测算法和直线分割检测算法来提取二维特征点和二维特征直线; 步骤二,特征反投影至三维并做不确定性分析:结合深度信息,利用针孔相机模型,将提取的二维特征点和二维特征直线反投影到三维,在高斯...
1.一种基于RGB-D特征匹配的3D点云拼接与融合方法,其特征在于,包括: 步骤100,将不同视点的场景表面3D点云数据投影到RGB-D图像进行处理,实现三维点云降至二维的降维计算; 步骤200,提取RGB-D图像中的特征点,建立RGB-D图像的特征描述,对不同视点RGB-D图像进行匹配; 步骤300,求解坐标及深度变换矩阵,对RGB-D图像...
RGB-D信息就是标准的RGB图像信息中引入了深度信息,而深度信息可为RGB图像提供对应的几何关系。现有的大多数工作只是简单地假设深度测量是准确的,且与RGB像素能够良好地对齐,由此将该问题建模为交叉模式特征融合以获得更好的特征表示从而实现更准确的分割,但是,通常传感器无法获得令人满意的精准的深度结果,实际的深度数据...
在本文中,作者提出了第一个基于中层融合结构的轻量级RGB-D SOD模型。通过重新访问中层融合结构,该模型显著降低了网络参数。此外,本文提出的IMFF模块利用RGB和深度图像中不同局部区域的信息量,可以有效地捕获参数较少的交叉模态互补信息。同时,所提出的LFDF模块通过特征层和决策层信息的交叉层联合融合,可以有效提取交叉...
深度敏感注意力和自动多模态融合的深度 RGB-D显著性物体检测(SOD)通常被表述为对RGB和深度这两种模式进行分类或回归的问题。 因此,有效的RGB-D特征建模和多模式特征融合都在RGB-D SOD中起着至关重要的作用。 来自浙江大学的研究者提出了一种使用显着对象的深度方向几何先验的深度敏感RGB特征建模方案。 原则上,...
摘要:本发明提供一种基于迁移学习和宽度学习的RGB‑D图像特征协同融合方法,包括以下步骤:获得RGB‑D数据集,通过神经网络进行初步的训练,修改完结构在数据集中进行再次的训练;提取特征之后,将RGB图像特征和深度图像特征进行相关性分析融合;使用宽度学习对融合后的特征进行分类识别。本发明能够合理融合RGB图像和深度图像...
本发明公开了一种基于RGB‑D特征匹配的3D点云拼接与融合方法,该方法主要包括:将不同视点的场景表面3D点云数据投影到RGB‑D图像进行处理,实现三维点云降至二维的降维计算;提取RGB‑D图像特征点,建立RGB‑D图像的特征描述,对不同视点RGB‑D图像进行匹配;求解坐标及深度变换矩阵,对RGB‑D图像进行拼接与融合...