因此,提高多模态特征的融合质量以及构造轻量级的显著性检测模型具有重要的研究意义。本文以探索更加符合人类双目视觉感知机理的RGB-D显著性检测模型为主要目标,针对显著性模型构建过程中的多模态特征有效提取和融合优化,以及模型轻量化等问题,进行了一系列相关研究。本文主要的工作内容及创新性研究成果具体总结如下:(1)...
Zhang 等[16]首先提出了基于深度卷积网络的 深度图像补全方法, 利用表面网格重新生成完整 的深度图像, 以解决缺少训练数据的问题; 然后应 用一个深度神经网络预测表面法线和遮挡边界, 第9期 郑柏伦, 等: 融合 RGB 图像特征的多尺度深度图像补全方法 1409 并根据表面法线和遮挡边界进行稀疏方程优化, 求解得出图像的...
在RGB-D数据集上进行了多组实验,实验结果表明该方法较好的实现了特征的融合,并有效地解决了目标类内差异、类间相似问题对识别结果的影响,一定程度上提高了3D目标识别率;(3)在决策层上,针对单一特征识别过程中存在的不确定性问题,基于D-S证据理论实现了一种融合RGB特征和Depth特征的3D目标识别方法。结合SVM分类器...
文献分别对RGB图像和骨骼图像提取时空特征,然后融合两种时空特征进行分类。文献通过提取骨骼特征、人体轮廓、RGB图像的时空特征,融合三种时空特征进行分类。文献利用长短时记忆(LSTM)网络提取RGB和骨骼特征后在多个尺度上进行识别并融合两者结果。文献通过VGG-19关注骨骼关节附近RGB图像和光流图像的时空特征,并融合两种特征进...
但RGB和热红外图像的显著差异性给上述三步带来了挑战.第一,多模态特征提取挑战,目前基于卷积特征提取的方法在建模全局信息上存在不足,且并未利用模态特有信息;第二,多模态特征融合挑战,目前采用线性的融合方法在空间或通道上平等看待两种模态信息,忽略了模态差异性以及互补性,不能有效融合各模态特征;第三,多模态特征...
在2个标准的RGB-D数据库上的实验结果表明,与基于RGB-D的物体识别算法相比,该算法能够有效融合RGB特征和深度特征,取得更高的识别准确率。关键词:RGB特征与深度特征融合;稀疏自编码;多模态稀疏自编码;空间金字塔最大池化;深度学习;物体识别中文引用格式:卢良锋,谢志军,叶宏武.基于RGB特征与深度特征融合的物体识别算法[...
LIDAR pipeline:先对原始点云进行体素化,然后利用voxelnet进行编码,以生成固定长度的向量,在利用类似于SECOND框架提取特征(6个3D稀疏卷积)。 RGB pipeline:利用预训练的resnet18+FPN生成特征图。 Cross-view feature mapping:将图像信息在前视图视锥信息融合到点云BEV视角,auto-calibrated projection将camera-view下的cam...
摘要:本发明提供一种基于迁移学习和宽度学习的RGB‑D图像特征协同融合方法,包括以下步骤:获得RGB‑D数据集,通过神经网络进行初步的训练,修改完结构在数据集中进行再次的训练;提取特征之后,将RGB图像特征和深度图像特征进行相关性分析融合;使用宽度学习对融合后的特征进行分类识别。本发明能够合理融合RGB图像和深度图像...
本发明提出RGB‑D多模态特征融合3D目标检测方法。3D目标检测技术可以获得目标的语义信息、空间尺寸信息,对实现3D智能目标检测着重要的意义。具体来说:首先,改进YOLOv3目标检测网络模型得到2D先验区域,并提出RGB‑D目标显著性检测算法提取目标像素、通过视锥投影获取目标视锥点云;其次,为了去除离群点并减少目标视锥点...
一种基于RGB-D特征融合的场景语义分割方法及系统 本发明提供了一种基于RGBD特征融合的场景语义分割方法及系统,首先获取待分割场景的RGB图像和深度图像;然后将RGB图像和深度图像同时输入场景语义分割模型中,得到场景语义分割结果;其中,场景语义分割模型的编码器分别采用RGB分支和深度分支对所述RGB图像和深... 贾伟宽,闫兴...