比较concat[qkv]和upconv(x),它们也对应于细节增强核和挤压轴注意力之间w/或w/o的卷积权值共享,我们可以发现共享权值使我们的模型在最小的性能损失下提高了推理效率(35.8 vs.35.9)。在增强模式方面,挤压轴向注意和细节增强内核的倍增特性比添加增强高出0.4% mIoU。 在这里插入图片描述 不同自注意模块的比较。
2.CBAM:通道注意力和空间注意力的集成者 轻量级的卷积注意力模块,它结合了通道和空间的注意力机制模块 论文题目:《CBAM: Convolutional Block Attention Module》论文地址: https://arxiv.org/pdf/1807.06521.pdf 上图可以看到,CBAM包含CAM(Channel Attention Module)和SAM(Spartial Attention Module)两个子模块,分别...
DEAB模块的设计:DEAB模块由DEConv和CGA组成,通过引入差分卷积(包括中心差分卷积CDC、角度差分卷积ADC、水平差分卷积HDC和垂直差分卷积VDC)来增强特征提取能力。 重参数化技术的应用:利用卷积层的线性属性,将五个并行卷积简化为一个普通卷积层,减少参数数量并加速训练和测试过程。 U-net类似框架的采用:使主要耗时的卷积...
在本次消融实验中,我们进行了实验,以比较LAF框架中不同模块设计的效果,并评估模型大小变化对准确率的影响。我们的研究结果表明,现有的LAF结构确实是最佳的。model-1和model-2之间的区别在于LAF使用的是add还是concat,而model-3在model-2的基础上增加了模型大小。model-4基于model-3,但丢弃了LAF。实验结果如表3所示...
添加SCConv模块 本章创新为融合SCconv的特征提取方法,顾名思义就是将SCconv模块融合到YOLOv8的骨干特征提取网络部分(backbone),首先我们了解一些SCconv。 SCConv是CVPR2023收录的一个即插即用的空间和通道重建卷积模块,其结构如下: SCconv论文下载地址 同时,在论文中也提供了实现代码: ...
UNet采用的Concat方案就是第二种,将小的feature map进行padding,padding的方式是补0,一种常规的常量填充。 代码部分采用模块化设计: DoubleConv模块: 先看下连续两次的卷积操作。 从UNet网络中可以看出,不管是下采样过程还是上采样过程,每一层都会连续进行两次卷积操作,这种操作在UNet网络中重复很多次,可以单独写一个...
通道注意力模块:通过在通道维度上对输入特征图进行最大池化和平均池化,然后将这两个池化结果输入到一个全连接层中,最后输出一个通道注意力权重向量。这个权重向量可以用来加权输入特征图的每个通道,以增强重要的通道特征并抑制不重要的通道特征。 空间注意力模块:类似于通道注意力模块,空间注意力模块也是通过对输入特征...
- [[-1,9],1,Concat, [1]] # cat headP5- [-1,3,C2f, [1024]] #21(P5/32-large) - [[15,18,21],1,Detect, [nc]] #Detect(P3,P4,P5) 温馨提示:因为本文只是对yolov8n基础上添加模块,如果要对yolov8n/l/m/x进行添加则只需要指定对应的depth_multiple 和 width_multiple。或者指定某个...
Neck部分包括一个SPPF模块、一个PAA模块和两个PAN模块。 yaml head: - [-1, 1, nn.Upsample, [None, 2, 'nearest']] - [[-1, 6], 1, Concat, [1]] # cat backbone P4 - [-1, 3, C2f, [512]] # 12 - [-1, 1, nn.Upsample, [None, 2, 'nearest']] - [[-1, 4], 1, ...