PointNet有一个缺陷:无法捕获local content。因为要么是shared MLP作用在每个point上,要么是max pooling对全部点的信息进行summarize。为了解决PointNet的这一缺陷,作者设计了PointNet++这一分层神经网络,其核心思想是在局部区域递归地应用PointNet,如下图所示: PointNet++的核心组成主要包括上图左半部分的set abstraction和右...
同时由于缺少local context ,其在平移不变性上也有一定的缺陷。因为对点云数据做平移操作后,所有的数据都将发生变化,导致所有的特征,全局特征都不一样了。对于单个的物体还好,可以将其平移到坐标系的中心,把他的大小归一化到一个球中,但是在一个场景中有多个物体时,则不明确需要对哪个物体做归一化。 针对这些问题...
理解PointNet关键在于理解一维卷积在网络中的作用,本文对该部分进行了详细的说明。另外,可以看到,PointNet最大的缺陷就是没有考虑周围的局部信息,所有的卷积操作都是针对单个点的进行的。这一点在PointNet++中得到了关注,后面的文章会对其进行解读。 01 代码下载 这部分很简单啦,github上作者放出了TensorFlow的版本,这里...
PointNet++的损失函数采用交叉熵损失，适用于分类和分割任务。在设计上，它提供了良好的表征网络，对后续的点云处理应用有重要影响。PointNet++在一定程度上弥补了PointNet的缺陷，尤其是在局部结构的捕捉和复杂场景的泛化能力方面。
前面我们提到了PointNet的一个缺陷,即没有提取局部特征这一过程。这在实际使用过程中该缺点往往会导致模型泛化能力有限,特别是在复杂场景下。 那么作者在PointNet++文章中(总体结构图如上),主要针对三个问题,提出了三种解决方法,分别为: 问题1:一个点云图往往有非常多的点,这会造成计算量过大而限制模型使用,如何解...
从本质上来说，要么对一个点做操作，要么对所有点做操作，实际上没有局部的概念(local context) ，比较难对一些精细的特征进行学习在，在分割的过程中会存在一些局限性。同时由于缺少local context ，其在平移不变性上也有一定的缺陷。因为对点云数据做平移操作后，所有的数据都将发生变化，导致所有的...
pointnet 缺陷:对比3Dcnn 3D和2D很像,只是变成了3D卷积,多级学习 不断抽象特征,平移不变性。 pointnet 一开始对每个点做MLP低维到高维的映射,把所有点映射到高维的特征通过Max pooling 结合到一起 本质上来说,要么对一个点做操作,要么对所有点做操作,实际上没有局部的概念(loal context) ,比较难对精细的特征做...
这类方法的缺陷在于,其仍然依赖手工特征的选择与参数优化,因此在某种程度上损失了深度学习的优势,无法从根本上克服手工特征存在的问题。 2. 基于投影图像的方法 这类方法首先将三维形状投影到二维图像空间, 进而在二维图像上采用深度学习模型进行特征学习,其优势在于:...
PointNet++是斯坦福大学研究团队在2017年提出的点云处理模型,它解决了前作PointNet在处理复杂场景时难以捕捉局部特征的缺陷。这个模型通过模拟人类观察物体时从局部细节到整体结构的认知过程,开创了层次化特征提取的先河,为后续三维深度学习研究提供了重要思路。 传统点云处理方法面临的核心挑战在于数据无序性。点云由成千...
但是,在低密度区域禁止这种密切检查,因为局部图案可能会被抽样缺陷破坏。在这种情况下,我们应该在更大范围内寻找更大规模的模式。为了实现这一目标,我们提出了density adaptive PointNet layers(密度自适应点网络层)(图3),当输入采样密度发生变化时,该层学习结合来自不同尺度区域的特征。我们将具有密度自适应PointNet层...