NAS-FPN能够在保证性能的同时,减少网络复杂度,提高计算效率。 BiFPN BiFPN(Bidirectional Feature Pyramid Network)是一种在PANet基础上进行改进的双向特征融合网络。它通过引入更多的横向连接和节点,实现了更高效的特征融合。同时,BiFPN还采用了一种权重共享策略,进一步减少了网络参数和计算量。 Recursive-FPN Recursive-FP...
FPN自从提出来以后,均是只有从上向下的融合,PANet是第一个提出从下向上二次融合的模型,并且PANet就是在Faster/Master/Cascade RCNN中的FPN的基础上,简单增了从下而上的融合路径。看下图。 4)复杂的双向融合 PANet的提出证明了双向融合的有效性,而PANet的双向融合较为简单,因此不少文章在FPN的方向上更进一步,尝试...
这导致了一个简化的双向网络;其次,如果它们处于同一级别,我们从原始输入到输出节点添加一条额外的边,以便在不增加太多成本的情况下融合更多特征;第三,与只有一条自顶向下和一条自底向上路径的 PANet不同,我们将每个双向(自顶向下和自底向上)路径视为一个特征网络层,并多次重复同一层以启用更高级的特征融合。 此外...
EMRN提出了一种多分辨率特征维数统一模块,用于固定来自不同分辨率图像的维度特征。 在此基础上,PANet提出了一种基于FPN的底层路径,用于在层间共享特征信息,以便高级特征可以在低级特征中获得足够的细节。通过神经架构搜索,NAS-FPN使用空间搜索策略通过特征金字塔连接不同的层,获得可扩展的特征信息。HSGM提出了一种层次相...
上面的PAnet是最简单的双向FPN,但是真正起名为BiFPN的是另外一个论文。 BiFPN:2019年google团队提出的。 论文地址:https://arxiv.org/abs/1911.09070 论文名称:EfficientDet: Scalable and Efficient Object Detection 结构不难理解,其实就是在PAnet的结构上,做了一些小改进。但是这个论文的主要贡献还是EfficientDet的提出...
上面的PAnet是最简单的双向FPN,但是真正起名为BiFPN的是另外一个论文。 BiFPN:2019年google团队提出的。 论文名称:EfficientDet: Scalable and Efficient Object Detection 结构不难理解,其实就是在PAnet的结构上,做了一些小改进。但是这个论文的主要贡献还是EfficientDet的提出,所以BiFPN只是算是一个小贡献。
PANet的提出证明了双向融合的有效性,而PANet的双向融合较为简单,因此不少文章在FPN的方向上更进一步,尝试了更复杂的双向融合,如ASFF、NAS-FPN和BiFPN。 ASFF ASFF(论文:Learning Spatial Fusion for Single-Shot Object Detection)作者在YOLOV3的FPN的基础上,研究了每一个stage再次融合三个stage特征的效果。如下图。
PANet的提出证明了双向融合的有效性,而PANet的双向融合较为简单,因此不少文章在FPN的方向上更进一步,尝试了更复杂的双向融合,如ASFF、NAS-FPN和BiFPN。 ASFF ASFF(论文:Learning Spatial Fusion for Single-Shot Object Detection)作者在YOLOV3的FPN的基础上,研究了每一个stage再次融合三个stage特征的效果。如下图。
BiFPN通过添加双向连接实现不同 Level 特征图信息的聚合。然而,这些方法忽视了同一层内特征之间的交互。层内特征交互是指通过通道之间的交互来丰富同一层内的特征表示,这也对目标检测任务具有显著影响。由于不同通道的特征通常对应不同的语义信息,引入层内特征交互可以使网络更好地感知物体。
在最近几年,目标检测器在backbone和head之间会插入一些网络层,这些网络层通常用来收集不同的特征图。我们将其称之为目标检测器的neck。通常,一个neck由多个bottom-up路径和top-down路径组成。使用这种机制的网络包括Feature Pyramid Network(FPN),Path Aggregation Network(PAN),BiFPN和NAS-FPN。