为此,我们提出了全局蒸馏Global Distillation:利用GcBlock分别提取学生与教师的全局信息,并进行全局蒸馏损失的计算。 二、整体框架 FGD仅需要获取学生与教师的特征图,便可完成重点蒸馏损失与全局蒸馏损失的计算,可以很方便的应用到各种类型的检测器上。 三、实验结果 我们对anchor-based与anchor-free的单阶段与二阶段检测...
FGD仅需要获取学生与教师的特征图,便可完成重点蒸馏损失与全局蒸馏损失的计算,可以很方便的应用到各种类型的检测器上。 三、实验结果 我们对anchor-based与anchor-free的单阶段与二阶段检测器进行了实验,在COCO2017上学生检测器均获得了大幅的AP和AR提升。 我们采用了具有更强的检测器对学生进行蒸馏,发现当使用更强...
针对学生与教师注意力的差异,前景与背景的差异,我们提出了重点蒸馏Focal Distillation:分离前背景,并利用教师的空间与通道注意力作为权重,指导学生进行知识蒸馏,计算重点蒸馏损失。2.全局信息的丢失如前所述,Focal Distillation将前景与背景分开进行蒸馏,割断了前背景的联系,缺乏了特征的全局信息的蒸馏。为此,我们提出了全...
本文介绍我们 CVPR 2022 关于目标检测的知识蒸馏工作:Focal and Global Knowledge Distillation for Detectors30 行代码就可以在 anchor-base, anchor-free 的单阶段、两阶段各种检测器上稳定涨点 01 针对问题 1. 目标检测中前背景不平衡问题 前背景的不平衡对于目标检测而言是一个重要的问题,这个问题同样影响着知识蒸...
本文介绍我们 CVPR 2022 关于目标检测的知识蒸馏工作:Focal and Global Knowledge Distillation for Detectors,只需要30 行代码就可以在 anchor-base, anchor-free 的单阶段、两阶段各种检测器上稳定涨点,现在代码已经开源。 论文链接:https://arxiv.org/abs/2111.11837 ...
一、针对问题 1. 目标检测中前背景不平衡问题 前背景的不平衡对于目标检测而言是一个重要的问题,这个问题同样影响着知识蒸馏。 知识蒸馏旨在使学生学习教师的知识,以获得相似的输出从而提升性能。为了探索学生与教师在特征层面的差异,我们首先对二者的特征图进行了可视化。可以看到在空间与通道注意力上,教师与学生均存在...
一、针对问题 1. 目标检测中前背景不平衡问题 前背景的不平衡对于目标检测而言是一个重要的问题,这个问题同样影响着知识蒸馏。 知识蒸馏旨在使学生学习教师的知识,以获得相似的输出从而提升性能。为了探索学生与教师在特征层面的差异,我们首先对二者的特征图进行了可视化。可以看到在空间与通道注意力上,教师与学生均存在...