一、文本介绍 本文修改的模型是Deformable-DETR,修改的位置是在可变形编码器和可变形解码器之间,在可变形编码器和可变形解码器之间加入RT-DERT中的CCFM模块,CCFM模块的输入为可变形编码器的最高层级特征图以及backbone的输出。CCFM模块可以提升模型的特征融合能力。 二、模型图 CCFM 三、核心代码 修改deformable_detr.p...
Detr存在的问题是object queries是随机的值,导致训练时间长,难以收敛等,IOU感知查询本质是对对象查询初始化的优化处理,消融实验表明IOU感知查询确实有效果,那么还有别的更好都地设计么,如果将AIFI层的输出,选择前K个“有用的小格子”作为对象查询向量的初始化,会不会有更好的效果? 3.关于解码器的设计 4层解码器...