使用对称函数实现对点集的排列不变性:通过对所有点的特征应用一个对称函数(如最大值 Max Pooling),聚合为全局特征,消除点的排列顺序对结果的影响。 逐点特征提取与共享权重:对每个点使用共享参数的多层感知机(MLP)提取特征,捕获每个点的特征信息。 空间变换网络(T-Net):学习点云的空间变换矩阵,对输入和特征空间进...
点云特征提取器 点云特征提取器采用多层感知机(MLP)对每个点进行特征提取。MLP可以对每个点的坐标和其他信息进行非线性变换,从而提取出更具代表性的特征。通过这种方式,PointNet网络能够捕捉到点云数据的局部细节和几何结构。 全局特征聚合器 全局特征聚合器通过最大池化操作将提取出的局部特征整合成全局特征。最大池化...
PointNet将点云中的每个点作为输入,通过多层感知器(MLP)进行处理。MLP是一种常用的神经网络结构,可以对输入进行非线性变换和特征提取。PointNet通过多层感知器将每个点的坐标和其他特征转换为高维特征向量。 然后,PointNet通过对每个点进行局部特征提取,捕捉点云的局部结构信息。为了实现这一点,PointNet引入了一个称为局部...
直觉上看,就是用一个小的网络学习一个线性变换,对输入的点云做处理 2. MLP 代码中使用的是两个卷积层: 先用一个 的卷积,输出通道数为 然后是一个 的卷积,输出通道也是 所以最终的输出是 的形状 3. Feature Transform 和先前一样,用T-Net输出一个 的线性变换矩阵右乘上去 4. MLP 用三个 的卷积,将通道...
总结。 PointNet语义分割通过直接处理点云数据,利用共享MLP提取点的局部和全局特征,借助空间变换网络解决点云的空间不变性问题,最后通过分类器对每个点进行语义分类。这种端到端的深度学习模型在点云语义分割任务中取得了良好的效果,为后续的点云处理和理解提供了重要的基础。©...
PointNet选择采用多层感知机(MLP)和最大池化(Max Pooling) 2、旋转后分类结果一致 要做到旋转的一致性,PointNet引入T-Net得到一个旋转矩阵,对输入特征进行自动对齐。将正则化项添加到我们的softmax训练损失中,即将特征变换矩阵约束为接近正交矩阵(正交变换不会丢失输入中的信息) ...
5)对分类任务,将全局特征通过mlp来预测最后的分类分数;对分割任务,将全局特征和之前学习到的各点云的局部特征进行串联,再通过mlp得到每个数据点的分类结果。 1.2 PointNet网络结构 它提取的“全局特征”能够很好地完成分类任务。下面看一下PointNet的框架结构: ...
在分割网络里,作者通过concate全局特征和局部特征,构造一个语义特征更强的特征形式,后面就是常规的通过MLP网络进行降维后生成预测点云。 更加详细的细节,可以查看原论文和下面的代码:论文地址 其中代码中的网络定义,对应网络细节如下: input_transform_net+input_fc:对应T-Net,后续reshape到3x3做为变换矩阵和输入进行...
过一系列MLP,最终输出 形状的矩阵, 代表语义分割的类别 实验分析 物体分类 首先是在ModelNet40数据集上分类的准确率 cls 基本上在3D输入上达到了SOTA的性能,整体正确率为89.2%。 语义分割 seg 可以看到,比起3D全卷积的baseline,mIoU也是达到SOTA的性能
2)mlp:多层感知机,用于提取点云的特征,这里使用共享权重的卷积。 3)max pooling:汇总所有点云的信息,进行最大池化,得到点云的全局信息。 4)分割部分:局部和全局信息组合结构(concate,语义分割) 5)分类loss:交叉熵,分割loss:分类+分割+L2(transform,原图的正交变换) ...