上采样过程:对于每个输入特征位置,CARAFE首先使用核预测模块预测一个重新组装核,然后利用该核对局部区域进行加权求和,从而得到上采样后的特征值。 模块作用 提高特征质量:通过内容感知的重新组装机制,CARAFE能够生成更准确的上采样特征,这些特征在后续的任务(如目标检测、语义分割等)中能够提供更好的性能。 增强模型泛化能...
我们的CARAFE通过加权和对局部区域内的特征进行重新组合。总之,空间注意力是一个具有逐点指导的重缩放算子,而CARAFE是一个具有局部区域指导的重新组合算子。空间注意力可以看作是CARAFE的一种特殊情况,其中重组核大小为1,不考虑核归一化器。 空间变换网络(STN)。STN根据输入特征图预测一个全局参数变换,并通过该变换对...
表6中的结果表明,CARAFE对所有三个组件都有帮助,且它们的组合带来了进一步的增益。图像修复。我们证明了CARAFE在图像修复等低级任务中也是有效的。通过在两个强大的基线Global&Local [13]和Partial Conv [23]中将上采样算子替换为CARAFE,我们观察到这两种方法都有显著改进。如表7所示,我们的方法在PSNR指标上使两个...
在这项工作中,我们提出了内容感知特征重组(CARAFE)来上采样特征图。在每个位置上,CARAFE可以利用底层内容信息来预测重组核,并在预定义的附近区域内重新组合特征。得益于内容信息,CARAFE可以在不同位置使用自适应和优化的重组核,并且比主流上采样算子(如插值或反卷积)实现更好的性能。 3.1. 公式化 3.2. 核预测模块 ...