这里笔者介绍两种常用的特征提取方法:(1)MLP提取,即是对voxel中的点采用几层全连接层将voxel中的Point信息映射到高维,最后再在每个特征维度上使用maxpooling()得到voxel的特征,但是这种方法必须保证每
Voxel R-CNN主要包括3D主干网络,2D BEV RPN和检测头,其中提出的voxel ROI pooling负责从voxel特征中提取ROI特征。 如下图所示,通过3D backbone提取3D特征,然后映射到BEV空间,生成proposal,通过Voxel ROI Pooling方式提取特征做优化。 与...
PV-RCNN增加了keypoint模块补充了3D结构信息,由此取得了更好的性能。 the 3D structure is of significant importance for 3D object detectors, since the BEV representation alone is insufficient to precisely predict bounding boxes in a 3D space. Typically, PV-RCNN integrates voxel features into sampled k...
这里笔者介绍两种常用的特征提取方法:(1)MLP提取,即是对voxel中的点采用几层全连接层将voxel中的Point信息映射到高维,最后再在每个特征维度上使用maxpooling()得到voxel的特征,但是这种方法必须保证每
这三个维度分别为:点云的BEV图、点云的前视图以及RGB图。MV3D结构如下图所示,输入为BEV和FV以及RGB图,在BEV分支申城3D proposal,然后送入到三个分支上,最后通过ROI pooling提取特征,然后汇总三个分支特征,进行分类和回归!相比于同时代的方法,KITTI上SOTA!
3D backbone、2D BEV RPN网络以及检测头和前面介绍的一些3D目标检测方法差不多,第三块中的VoxelROI Pooling是VoxelRCNN的关键模块,其以高效的方式保留了3D结构信息,为后续预测提供了更丰富的特征。Voxel RoI pooling可以直接从三维体素特征中聚合空间上下文特征,主要包含以下四个部分。
输入point cloud → 体素特征提取 → RPN → Voxel RoI pooling → 检测结果,如下图。 Voxel R-CNN 网络框架 整体网络挺简单的,这里只记录一下要点。 Voxel RoI pooling是怎么做的?其实就是,利用3D voxels 表示proposal features,也就是如何从3D voxels特征中聚合结构信息。
由表1知:直接在BEV特征上添加BEV检测头可提高0.6% AP,这验证了边界框refinement的有效性,同时也证明了BEV表示的能力相当有限。由表2可知,keypoint特征提取的VSA模块比较耗时。 3.2 Voxel ROI Pooling VoxelRCNN主要包含以下三部分 3D backbone 2D BEV RPN网络...
Voxel R-CNN主要包括3D主干网络,2D BEV RPN和检测头,其中提出的voxel ROI pooling负责从voxel特征中提取ROI特征。如下图所示,通过3D backbone提取3D特征,然后映射到BEV空间,生成proposal,通过Voxel ROI Pooling方式提取特征做优化。与现有的基于体素的方法相比,Voxel R-CNN提供了更高的检测精度,同时保持了实时帧处理...
(1)MLP提取,即是对voxel中的点采用几层全连接层将voxel中的Point信息映射到高维,最后再在每个特征维度上使用maxpooling()得到voxel的特征,但是这种方法必须保证每一个voxel中的点数一样,所以所有的voxel就仅仅只有两种状态,要么是空的,要么是有max_points_number个点的(可以采用重采样的方式保证每一个voxel的点数一...