KPConv 定义为特征 F 与点 x 处的核 g 的点卷积: 邻居Nₓ 的正式定义为以 x 为中心、位于半径 r 内的所有点 xᵢ 我们现在将邻居称为 yᵢ 我们将核函数 g 的定义域定义为一个半径为 r 的球 核点被限制为仅存在于球内,我们将它们与其权重矩阵一起定义为 ...
因此,KPConv可以扩展到可变形的卷积,学习使核点适应局部几何。由于采用了常规的子采样策略,KPConv对于不同的点云密度依然是高效和稳健的。无论是在复杂任务中使用可变形的KPConv,还是在简单任务中使用刚性KPConv,我们的网络在多个数据集上都优于最先进的分类和分割方法。我们还提供消融研究和可视化,以了解通过KPConv所...
该论文提出了一种新的点卷积设计,称为可变形卷积(deformable KPConv)。该设计基于点云数据,通过在点云上定义核点来执行卷积操作。与传统的固定网格卷积相比,KPConv具有更大的灵活性,因为它可以使用任意数量的核点,并且这些点在空间上是连续的,可以通过网络进行学习。此外,KPConv还可以通过学习适应局部几何形状的核点来...
这个工具对于了解KPConv一般能学到什么非常有用,但我们需要另一个工具来比较这两个版本。 有效感受场。为了理解刚性和可变形KPConv所学到的表征之间的差异,我们可以计算它在不同位置的有效感受场(ERF)[22]。ERF是衡量每个输入点在特定位置对KPConv层结果的影响。它被计算为该特定位置的KPConv响应相对于输入点特征的梯...
我们还表明,可变形的KPConv对于更少的内核点更健壮,这意味着更强大的描述能力。 最后,KPConv ERF的定性研究表明,可变形内核改善了网络适应场景对象的几何形状的能力。 二、相关工作 在本节中,我们将简要回顾以前分析点云的深度学习方法,特别关注那些更接近于我们定义的点卷积的方法。
关于KPConv的文件读写 Pytorch版本的KPConv例程使用ply格式作为神经网络的输入格式。其它数据格式在输入网络之前都会先转换成ply格式。笔者在阅读KPConv的源代码时,发现ply文件的读写模块中有一个大端(big endian)、小端(little endian)和ASCII的判定。关于大端和小端,简书上有一篇文章介绍得很详细[1]。KPConv作者之所以...
3D Point Cloud ClassificationModelNet40KPConvOverall Accuracy92.9# 72 Compare LIDAR Semantic SegmentationParis-Lille-3DKPConv deformmIOU0.759# 4 Compare Semantic SegmentationS3DISKPConvMean IoU70.6# 22 Compare mAcc79.1# 19 Compare Number of params14.1M# 46 ...
In the field of deep point cloud understanding, KPConv is a unique architecture that uses kernel points to locate convolutional weights in…
[39, 43], the latter learn filters on edge relationships instead of points relative positions. In other words, a graph convolution combines features on local surface patches, while being invariant to the deformations of those patches in Euclidean space. In contrast, KPConv combines features locally...
We present Kernel Point Convolution (KPConv), a new design of point convolution, i.e. that operates on point clouds without any intermediate representation. The convolution weights of KPConv are located in Euclidean space by kernel points, and applied to the input points close to them. Its capa...