By using pretrained foundation models with extensive data and GPU hours, Hydra-MDP showcases its scalability and potential for continuous improvement. The NVIDIA model Hydra-MDP won first place and the innovatio
Hydra-MDP与Hydra-MDP++的工作上整体是非常一致的,我个人读下来感觉++的版本故事写的更清楚,整体的format也整理的比较清晰,故以此为基准,整理论文内容和个人理解于此,还望大佬们多交流多沟通。 Methods hydra-mdp++论文框架 Transfuser整体框架 1. 感知网络 在Hydra-MDP中感知网络沿用了Transfuser这篇工作的整体设计,...
本文提出了Hydra-MDP,这是一种在教师-学生模型中采用多个教师的新范式。该方法利用来自人类和基于规则的教师的知识蒸馏来训练学生模型,该模型具有多头解码器,以学习适应各种评估指标的多样化轨迹候选方案。通过基于规则的教师的知识,Hydra-MDP能够以端到端的方式学习环境如何影响规划,而不是依赖于不可微分的后处理方法。
With the knowledge of rule-based teachers, Hydra-MDP learns how the environment influences the planning in an end-to-end manner instead of resorting to non-differentiable post-processing. This method achieves the 1st place in the Navsim challenge, demonstrating significant improvements in ...
Hydra-MDP NVIDIA的工作 contribution 提出了一个新的端到端框架,通过multi-target蒸馏的方式,让模型同时学习rule-based的规划和人类驾驶的规划方式 SOTA Method 场景表示 基于Transfuser提取多模态的tokens,还有感知的辅助loss监督,没什么特别的。 轨迹解码器 类似VADv2,将planning的行人离散化成词表,预先从训练集里面...