CVPR 2022 | 针对目标检测的重点与全局知识蒸馏(FGD) 本文介绍我们 CVPR 2022 关于目标检测的知识蒸馏工作: Focal and Global Knowledge Distillation for Detectors,只需要 30 行代码就可以在 anchor-base, anchor-free 的单阶段、两阶段各种… 明明就 深度神经网络模型蒸馏Distillation 李rumo...发表于NLPCA... NF...
MasKD的算法架构图:首先,冻结教师权重,根据教师的语义特征学习生成黄色模块(Receptive Tokens);接着,Tokens与教师特征图进行矩阵乘,生成基于教师的语义掩码 ,再与学生特征图进行矩阵乘,生成基于学生的语义掩码;然后,两者进行对应元素相乘,选取教师兴趣域与学生兴趣域的交集,在语义掩码下,进行一一对应的特征蒸馏;最后,计...
如前所述,Focal Distillation将前景与背景分开进行蒸馏,割断了前背景的联系,缺乏了特征的全局信息的蒸馏。为此,我们提出了全局蒸馏Global Distillation:利用GcBlock分别提取学生与教师的全局信息,并进行全局蒸馏损失的计算。 二、整体框架 FGD仅需要获取学生与教师的特征图,便可完成重点蒸馏损失与全局蒸馏损失的计算,可以很...
如前所述,Focal Distillation将前景与背景分开进行蒸馏,割断了前背景的联系,缺乏了特征的全局信息的蒸馏。为此,我们提出了全局蒸馏Global Distillation:利用GcBlock分别提取学生与教师的全局信息,并进行全局蒸馏损失的计算。 02 整体框架 FGD仅需要获取学生与教师的特征图,便可完成重点蒸馏损失与全局蒸馏损失的计算,可以很...
项目链接:https://github.com/yzd-v/FGD 01 针对问题 1. 目标检测中前背景不平衡问题 前背景的不平衡对于目标检测而言是一个重要的问题,这个问题同样影响着知识蒸馏。 知识蒸馏旨在使学生学习教师的知识,以获得相似的输出从而提升性能。为了探索学生与教师在特征层面的差异,我们首先对二者的特征图进行了可视化。可以...
文章链接: https://arxiv.org/abs/2111.11837 代码链接: https://github.com/yzd-v/FGD 一、针对问题 1. 目标检测中前背景不平衡问题 前背景的不平衡对于目标检测而言是一个重要的问题,这个问题同样影响着知识蒸馏。 知识蒸馏旨在使学生学习教师的知识,以获得相似的输出从而提升性能。为了探索学生与教师在特征层面...
项目链接:https://github.com/yzd-v/FGD 01 针对问题 1. 目标检测中前背景不平衡问题 前背景的不平衡对于目标检测而言是一个重要的问题,这个问题同样影响着知识蒸馏。 知识蒸馏旨在使学生学习教师的知识,以获得相似的输出从而提升性能。为了探索学生与教师在特征层面的差异,我们首先对二者的特征图进行了可视化。可以...