本文提出的S3M SLAM系统通过有效的姿态估计和语义分割,结合语义融合和OctoMap技术,实现了在UAV中逐步构建对象级地图的目标。具体而言,该系统采用ORBSLAM3算法进行实时姿态估计,通过语义分割网络PSPNet从RGBD图像中提取有意义的对象实例。随后,采用语义融合策略将跨多个视图的语义标签整合到点云中,以提高场景理解。最后,利用...
1.提出了一种网络,通过将残差学习的核心思想扩展到RGBD语义分割,在非常深的网络中有效地提取和融合多级RGB-D特征。 2.多模态特征融合模块通过跳过连接充分利用残差学习,在单个GPU上实现有辨别力的RGB-D特征的高效端到端训练。 3.此论文的RGB-D语义分割网络优于现有方法,并在两个公共RGB-D数据集NYUDv2和SUN RGB...
本文介绍了一种创新的方法,旨在通过在无人飞行器(UAVs)中引入语义稀疏地图(S3M)来提高对环境的感知和理解。该方法通过使用RGB-D相机数据,结合对象实例分割和Octomap映射技术,成功地解决了将语义信息整合到UAV地图操作中的挑战。这对于UAV在复杂环境中执行任务,如搜救行动,具有重要意义。
根据使用的数据表示,这些方法可分为五类,即基于RGB-D图像、基于投影图像、基于体素、基于点云和其他表示。基于点云的方法可以根据网络架构进一步分类为基于多层感知器(MLP)的方法、基于点云卷积的方法和基于图卷积的。图4显示了近年来3D语义分割深度学习的里程碑。 基于RGB-D RGB-D图像中的深度图包含关于真实世界的...
这篇文章收录于ECCV2020,由北京大学、商汤科技、香港中文大学提出的基于RGB-D图像的语义分割算法。充分考虑了RGB图像信息和深度信息的互补,在网络结构中引入了视觉注意力机制分别用于特征分离与聚合。最终在室内和室外环境的数据集上都进行了实验,具有良好的...
第七期:【图像分割模型】全局特征与局部特征的交响曲—ParseNet 第八期:【图像分割模型】多分辨率特征融合—RefineNet 第九期:【图像分割模型】用BRNN做分割—ReSeg 第十期:【图像分割模型】BRNN下的RGB-D分割—LSTM-CF 第十一期:【图像分割模型】实例分割模型—DeepMask ...
这篇文章收录于ECCV2020,由北京大学、商汤科技、香港中文大学提出的基于RGB-D图像的语义分割算法。充分考虑了RGB图像信息和深度信息的互补,在网络结构中引入了视觉注意力机制分别用于特征分离与聚合。最终在室内和室外环境的数据集上都进行了实验,具有良好的分割性能。
2 RGB-D语义分割数据库 (1)NYUDv2 dataset: 共有1449对密集标注的RGB-D图像,其中795对作为训练集,654对作为测试集,共40个类。 (2)SUN RGB-D dataset:共10335对标注图像,5285对作为训练集, 5050对作为测试集, 共38个类。 3 结果汇总 参考文献
3D语义分割 文献中提出了许多关于3D语义分割的深度学习方法。根据使用的数据表示,这些方法可分为五类,即基于RGB-D图像、基于投影图像、基于体素、基于点云和其他表示。基于点云的方法可以根据网络架构进一步分类为基于多层感知器(MLP)的方法、基于点云卷积的方法和基于图卷积的。图4显示了近年来3D语义分割深度学习的里...