MRG用两个Pointnet对连续的两层分别做特征提取与聚合,然后再进行特征拼接。如下图所示(没在代码中找到就不详细解析了)。 至此,问题1,2,3就解析完毕了,如果解析过程中有错,欢迎批评指正! 问题4:连续的Set Abstraction(SA)层对原始点进行下采样而获得数量更少的特征点,如何从这些特征点中实现原始点云数据的分割...
另一方面,MRG网络对于采样密度的转换更加稳健,因为当采样稀疏时,它能够自动切换到描述更加粗粒度的特征。即使在训练数据(具有随机暂弃的均匀点)和非均匀密度的扫描数据之间存在邻域鸿沟,我们的MSG网络也仅仅受到轻微地影响,并且在比较中获得了所有方法中最佳的精度。这些都证明了我们设计的密度自适应层的有效性。 Sec040...
MRG方法在某一层对每个局部提取到的特征由两个向量串联构成,如下图(b)所示。第一部分由其前一层提取到的特征再次通过特征提取网络得到,第二部分则通过直接对这个局部对应的原始点云数据中的所有点进行特征提取得到。避免了在最低级别的大规模邻域中的特征提取。 PointNet++会先对点云进行采样(sampling)和划分区域(...
在PointNet++中,每个抽象层还可以使用多尺度分组(Multi-scale grouping,MSG)、多分辨率分组(Multi-resolution grouping ,MRG),来提取并组合多个局部区域特征。 (1)多尺度分组(Multi-scale grouping,MSG) 如图3(a)所示,多尺度分组对每个质心使用多个不同尺度的分组,然后将提取到的每个尺度的特征连接起来,形成多尺度特...
另一种是多分辨率分组（MRG)。MSG很明显会影响降低运算速度，所以提出了MRG，这种方法应该是对不同level的grouping做了一个concat，但是由于尺度不同，对于low level的先放入一个pointnet进行处理再和high level的进行concat。感觉和ResNet中的跳跃连接有点类似。在这部分，作者还提到了一种random input ...
为了更高效地处理点云采样过程中的计算量问题，PointNet++引入了另一种采样策略，即MRG。这种方法采用多层级采样，通过两个pointnet layer对特征进行提取和聚合，以减少计算复杂性。此外，PointNet++还引入了dropout（DP）策略，以提高模型的鲁棒性。具体地，DP策略通过给定概率，随机丢弃部分点云，实验结果...
另一种是多分辨率分组(MRG)。MSG很明显会影响降低运算速度,所以提出了MRG,这种方法应该是对不同level的grouping做了一个concat,但是由于尺度不同,对于low level的先放入一个pointnet进行处理再和high level的进行concat。感觉和ResNet中的跳跃连接有点类似。
虽然PointNet(vanilla)[20]具有最好的时间效率,但是我们没有密度自适应层的模型以相当快的速度实现了最小的模型大小。值得注意的是,我们的MSG,虽然在非均匀采样数据中具有良好的性能,但由于多尺度区域特征提取,它的成本是SSG版本的2倍。与MSG相比,MRG更有效,因为它使用跨层的区域。
进来很多3D的应用在兴起,3D传感器在进步,随着虚拟网络的发展转到物理实际中的应用,比如(ADAS,AR,MR)自动驾驶中需要理解 汽车行人交通标识,同时也需要理解三维物体的状态静至,移动。 AR头戴显示器有深度传感器,也需要做三维场景的理解。例如把todo_list合适的放到冰箱的门上。
而MRG网络在采样稀疏时能够自动切换到粒度较粗的特征,因此对采样密度的偏移具有更强的鲁棒性。尽管训练数据(均匀点随机dropout)与非均匀密度的扫描数据之间存在域差距,但我们的MSG网络受到的影响较小,在比较方法中准确率最高。这证明了我们的密度自适应层设计的有效性。