在这次的比赛中,一共有143个团队参与,我们英伟达、复旦大学、华东师范大学、北京理工大学、南京大学和南开大学联合组成的团队脱颖而出,提出的比赛方案Hydra-MDP同时获得了比赛的第一名以及创新奖。 Hydra-MDP框架 在介绍我们的Hydra-MDP框架之前,我们先回顾之前的模型范式并对它们的问题进行总结,以此来说明为什么需要一...
为了解决这些问题,本文提出了一种新的端到端自动驾驶框架,称为Hydra-MDP(多目标Hydra蒸馏的多模态规划)。Hydra-MDP基于一种新的教师-学生知识蒸馏(KD)架构。学生模型通过从人类和基于规则的教师那里进行知识蒸馏,学习适应各种评估指标的多样化轨迹候选方案。本文通过多头解码器实现了多目标Hydra蒸馏,从而有效整合了来自专...
模型架构 Hydra-MDP包含了感知网络和轨迹解码器 感知网络 感知网络不是本文所介绍的重点,Hydra-MDP的感知网络是基于Transformer模型Transfuser的感知网络[4]。其包括图像骨干网络,Lidar点云骨干网络,以及用于输出perception的3D目标检测head,和BEV物体分割head。 轨迹解码器 解码器基于Vadv2[5],Hydra-MDP构建出既定的离...
原文链接:爆拉Hydra-MDP++!ARTEMIS:混合专家模型MoE问鼎端到端轨迹规划SOTA~ 论文链接:arxiv.org/abs/2504.1958 文章简介 自动驾驶在过去几十年中经历了快速发展。传统的模块化方法将自动驾驶任务划分为诸如感知、预测和规划等离散模块。然而,这些模块之间的累计误差和复杂的相互依赖关系可能会受到预定义接口的限制。端...
CVPR2024自驾大模型比赛结果公布[1],英伟达研究员大模型Hydra-MDP[2]获得了端到端模型赛道的第一名。本文讲对其进行解读。 主要特点 大模型在训练中不仅仅学习只预测ground truth轨迹。作者还引入了rule based驾驶规则的知识蒸馏概念,但笔者认为其本质是学习一系列rule based的轨迹指标分数,并在inference的时候用预测出...
多目标 Hydra-distillation 是一个师生多模式框架,是Hydra-MDP方法中的关键策略。通过聘用多位专业教师(包括人类和基于规则的教师),该模型学会预测符合各种基于模拟的自动驾驶轨迹。这种技术增强了模型在不同驾驶条件下的泛化能力。结合基于规则的规划器提供了一个结构化的框架,而人类教师则引入了适应性和细致的决策能力...
hydra的方案基本思路类似vadv2, 把回归问题变成了分类问题。不过不同于vadv2的地方是前者还是属于multimodal planning+single-target learning,但是hydra不仅是multimodal planning,同时在学习上也是multi-target learning。这里的mult-target的具体实现是通过multi-taget MLP实现具有多个评价准则的rule based teachers的训练。
Hydra-MDP与Hydra-MDP++的工作上整体是非常一致的,我个人读下来感觉++的版本故事写的更清楚,整体的format也整理的比较清晰,故以此为基准,整理论文内容和个人理解于此,还望大佬们多交流多沟通。 Methods hydra-mdp++论文框架 Transfuser整体框架 1. 感知网络 在Hydra-MDP中感知网络沿用了Transfuser这篇工作的整体设计,...
E2E: Hydra-MDP 文章链接:https://arxiv.org/pdf/2406.06978 这篇文章的核心贡献是扩展了一种端到端的新范式: a. 出一条轨迹线 + 训练目标只有人驾线 b. 出多条轨迹线 + 训练目标只有人驾线 c. 出多条轨迹线 + 训练目标为 (人驾线 + 仿真结果) 注: 仿真可以用基于规则算法,例如:https://arxiv....
该框架在 CVPR 2024 NAVSIM(大规模端到端驾驶)挑战赛中,获得了第一名和创新奖,并且在nuPlan基准测试中的表现优于当前最先进的规划器。Hydra-MDP 的出现,为基于机器学习的规划系统在自动驾驶中的应用开辟出一条前景广阔的道路,有望推动端到端自动驾驶的大规模实现。