我们先在nuScenes validation数据集上进行了对比,可以无论是在低分辨率+ResNet50还是高分辨率+ResNet101的配置下,Sparse4D v2都取得了SOTA的指标,超过了SOLOFusion、VideoBEV和StreamPETR等算法。 从推理速度来看,在256X704的图像分辨率下,Sparse4Dv2超过了LSS-Based算法BEVPoolv2,但是低于StreamPETR。但是当图像分辨率提...
其中,Deformable模块负责将图像特征引入;Refine模块负责基于instance_feature获取感知结果;temp_interaction负责对当前帧特征信息与历史特征信息进行融合; interaction负责将当前帧特征进行自注意力计算。 deformable(图像特征引入):前面提到,Sparse4D中,模型将不在学习稠密的显式BEV特征。图像特征的使用主要依赖该module。该模块...
为了Make 纯稀疏感知 Great Again,我们近期提出了Sparse4D及其进化版本Sparse4D v2,从Query构建方式、特征采样方式、特征融合方式、时序融合方式等多个方面提升了模型的效果。当前,Sparse4D V2 在nuScenes detection 3d排行榜来看,达到了SOTA的效果,超越了包括SOLOFusion、BEVFormer v2和StreamPETR在内的一众最新方法,并且...
网络结构和推理框架如图1所示!展示了Sparse4Dv2的网络结构和推理pipeline,这里将首先介绍两个辅助任务:时序实例去噪和质量估计,紧接着介绍注意力模块的增强,称为解耦注意力,最后概述了如何利用Sparse4D实现3D MOT。 1)Temporal 实例去噪 在2D检测中,引入去噪任务被证明是提高模型收敛稳定性和检测性能的有效方法。v3将基...
根据规划，Sparse4D将应用于地平线下一代产品中。地平线副总裁兼软件平台产品线总裁余轶南博士认为：“行业已经进入感知端到端的时代，一个网络即可完成整个感知的任务。Sparse4D系列算法将稀疏类算法的性能提升到了一个新的高度，并实现了端到端的多目标跟踪，无论对于稀疏感知还是端到端自动驾驶都具有里程碑意义。...
1月22日,地平线将纯视觉自动驾驶算法——Sparse4D系列算法开源,推动行业更多开发者共同参与到端到端自动驾驶、稀疏感知等前沿技术方向的探索中。目前,Sparse4D算法已在GitHub平台上线,开发者可关注地平线GitHub官方账号“Horizon Robotics”获取源码。 1月22日,地平线将纯视觉自动驾驶算法——Sparse4D系列算法开源,推动...
Sparse4D:纯稀疏感知方案的全面改进 图1DETR3D 算法框架图 首先,我们先简单回顾一下DETR3D算法(图1)。DETR3D 算法可以概括为如下几个步骤: 1.多尺度特征提取:对于多摄像头图像,采用ResNet + FPN 提取图像的多尺度特征 2.Query 初始化:初始化若干Object Queries(以特征编码的形式) ...
3D目标检测(Detection)又可分为融合算法和单一传感器算法,其中纯视觉算法第一名就是地平线Sparse4D,NDS得分高达0.719;纯激光雷达算法第一名是浪潮信息和中科院的Real-Aug++,NDS得分是0.744;而激光雷达和视觉融合的第一名是零跑汽车的EA-LSS,NDS得分0.776。不难看出传感器融合性能提升非常有限。很多人会说,特斯拉才是...
IT之家 1 月 23 日消息,地平线纯视觉自动驾驶算法 ——Sparse4D 系列算法开源,已在GitHub平台上线。 IT之家注意到,Sparse4D 是迈向长时序稀疏化 3D 目标检测的系列算法,属于时序多视角融合感知技术的范畴。Sparse4D 搭建了纯稀疏的融合感知框架,相比稠密 BEV 算法降低了计算复杂度,提升了感知效果和推理速度。