为了弥补局部蒸馏中丢失的全局信息,研究者进一步提出了全局蒸馏。在全局蒸馏中,研究者利用GcBlock提取不同像素之间的关系,然后把它们从教师蒸馏到学生。 03新框架 FGD的说明如下图,包括局部蒸馏和全局蒸馏。局部蒸馏不仅可以分离前景和背景,还可以使学生网络更好地关注教师网络特征图中的重要信息。全局蒸馏弥合了学生和...
为了弥补局部蒸馏中丢失的全局信息,研究者进一步提出了全局蒸馏。在全局蒸馏中,研究者利用GcBlock提取不同像素之间的关系,然后把它们从教师蒸馏到学生。 03 新框架 FGD的说明如下图,包括局部蒸馏和全局蒸馏。局部蒸馏不仅可以分离前景和背景,还可以使学生网络更好地关注教师网络特征图中的重要信息。全局蒸馏弥合了学生和...
如前所述,我们利用焦点蒸馏来分离图像,并迫使学生聚焦关键组成部分。然而,这种蒸馏切断了前景和背景之间的关系。所以我们提出全局蒸馏,旨在提取不同特征图的不同像素之间的全局关系,并从老师迁移到学生。 如图4所示,我们利用GcBlock来捕获单幅图像的全局关系,并迫使学生检测器向教师检测器学习这种关系,全局损失L_{global...
针对学生与教师注意力的差异,前景与背景的差异,我们提出了重点蒸馏Focal Distillation:分离前背景,并利用教师的空间与通道注意力作为权重,指导学生进行知识蒸馏,计算重点蒸馏损失。 2.全局信息的丢失 如前所述,Focal Distillation将前景与背景分开进行蒸馏,割断了前背景的联系,缺乏了特征的全局信息的蒸馏。为此,我们提出了...
针对学生与教师注意力的差异,前景与背景的差异,我们提出了重点蒸馏Focal Distillation:分离前背景,并利用教师的空间与通道注意力作为权重,指导学生进行知识蒸馏,计算重点蒸馏损失。 2.全局信息的丢失 如前所述,Focal Distillation将前景与背景分开进行蒸馏,割断了前背景的联系,缺乏了特征的全局信息的蒸馏。为此,我们提出了...
不同像素之间的关系具有有价值的知识,可用于提高检测任务的性能。研究者利用局部蒸馏来分离图像,并迫使学生将注意力集中在关键部位。然而,这种蒸馏切断了前景和背景之间的关系。因此,研究者提出了全局提取,其目的是从特征图中提取不同像素之间的全局关系,并将其从教师蒸馏到学生。
针对学生与教师注意力的差异,前景与背景的差异,我们提出了重点蒸馏Focal Distillation:分离前背景,并利用教师的空间与通道注意力作为权重,指导学生进行知识蒸馏,计算重点蒸馏损失。 2.全局信息的丢失 如前所述,Focal Distillation将前景与背景分开进行蒸馏,割断了前背景的联系,缺乏了特征的全局信息的蒸馏。为此,我们提出了...
不同像素之间的关系具有有价值的知识,可用于提高检测任务的性能。研究者利用局部蒸馏来分离图像,并迫使学生将注意力集中在关键部位。然而,这种蒸馏切断了前景和背景之间的关系。因此,研究者提出了全局提取,其目的是从特征图中提取不同像素之间的全局关系,并将其从教师蒸馏到学生。
针对学生与教师注意力的差异,前景与背景的差异,我们提出了重点蒸馏Focal Distillation:分离前背景,并利用教师的空间与通道注意力作为权重,指导学生进行知识蒸馏,计算重点蒸馏损失。 2. 全局信息的丢失 如前所述,Focal Distillation将前景与背景分开进行蒸馏,割断了前背景的联系,缺乏了特征的全局信息的蒸馏。为此,我们提出...
今天介绍CVPR2022关于目标检测的知识蒸馏工作: Focal and Global Knowledge Distillation for Detectors,只需要30行代码就可以在anchor-base, anchor-free的单阶段、两阶段各种检测器上稳定涨点,现在代码已经开源。 01 前言 文章链接:arxiv.org/abs/2111.1183 ...