最后,再说一下RT-DETR的assignment和loss两大部分。尽管RT-DETR的前大半部分保留了太多的CNN框架的痕迹,但对于最终的检测头,或者说解码器,RT-DETR还是选择了基于cross attention的Transformer decoder,并连接若干MLP作为检测头,因此,RT-DETR无疑是DETR架构。具体来说,RT-DETR选择DINO的decoder,使用了具体线性复杂度的...
我们将第i个集的损失表示为损失$Loss^i_{o2o}$,N个扰动集的总损失计算如下: 基于变压器的一对多密集监督分支 为了使多组自关注扰动分支的收益最大化,我们在解码器中引入了一个具有共享权重的额外密集监督分支。这确保了更多高质量的查询与每个基本事实相匹配。具体来说,我们使用查询选择模块来生成一组唯一的目标...
二、原理 Inner-IoU: More Effective Intersection over Union Loss with Auxiliary Bounding Box 2.1 Inner - IoU计算原理 定义相关参数: 真实(GT)框和锚点分别表示为Bgt和B。 GT框和内GT框的中心点表示为$(x{c}^{gt}, y{c}^{gt}),锚点和内锚点的中心点表示为(x{c}, y{c})$。 GT框的宽度和高度...
0.337316 loss_giou_aux: 4.784553 loss_class_dn: 0.399882 loss_bbox_dn: 0.044472 loss_giou_dn: 0.703513 loss_class_aux_dn: 2.051158 loss_bbox_aux_dn: 0.235991 loss_giou_aux_dn: 3.677683 loss: 16.574669 eta: 1:05:00 batch_cost: 1.0780 data_cost: 0.3789 ips: 3.7105 images/s [04/21 ...
5.Distillation:6. alpha: 1.07. loss: soft_label8.9.QuantAware:10. onnx_format: true11. activation_quantize_type: 'moving_average_abs_max'12. quantize_op_types:13. - conv2d14. - matmul_v215.16.TrainConfig:17. train_iter: 100018. eval_iter: 10019. learning_rate: ...
学习Focal Loss的思想,为$\mathcal{L}{WIoU v1}构造单调聚焦系数\mathcal{L}{IoU}^{\gamma*},得到:LWIoUv2=Lγ∗IoULWIoUv1$γ>0 由于聚焦系数的加入,梯度也发生变化:∂LWIoUv2∂LIoU=Lγ∗IoU∂LWIoUv1∂LIoU 为解决训练后期收敛速度慢的问题,引入$L{IoU}的均值作为归一化因子,即:LWIoU...
(4)Head和Loss:和DINOHead基本一样,从RT-DETR的配置文件其实也可以看出neck+transformer+detr_head其实就是一整个Transformer,拆开写还是有点像YOLO类的风格。而训练加入了IoU-Aware的query selection,这个思路也是针对分类score和iou未必一致而设计的,改进后提供了更高质量(高分类分数和高IoU分数)的decoder特征; ...
7. loss: soft_label 8. 9.QuantAware: 10. onnx_format: true 11. activation_quantize_type: 'moving_average_abs_max' 12. quantize_op_types: 13. - conv2d 14. - matmul_v2 15. 16.TrainConfig: 17. train_iter: 1000 18. eval_iter: 100 ...
接着,我们提出了Inner-IoU Loss,其通过辅助边框计算IoU损失。针对不同的数据集与检测器,我们引入尺度因子ratio控制辅助边框的尺度大小用于计算损失。最后,将Inner-IoU集成至现有的基于IoU损失函数中进行仿真实验与对比实验。实验结果表明在使用本文所提出方法后检测效果得到进一步提升,验证了本文方法的有效性以及泛化能力...
7. loss: soft_label 8. 9.QuantAware: 10. onnx_format: true 11. activation_quantize_type: 'moving_average_abs_max' 12. quantize_op_types: 13. - conv2d 14. - matmul_v2 15. 16.TrainConfig: 17. train_iter: 1000 18. eval_iter: 100 ...