修改YOLOv8的主干网络:首先需要修改ultralytics/cfg/models/v8/yolov8.yaml文件中的backbone部分,以适应Swin-Transformer模块的插入。这可能涉及到调整卷积层的数量、类型以及它们之间的连接方式。 添加Swin-Transformer代码:根据论文提供的官方实现或者社区贡献的实现版本,将Swin-Transformer的相关组件(如WindowAttention,Mlp...
在前面的章节中,我们学习了SwinTransformer的整体框架,其主要由Patch Merging模块与SwinTansformer Block模块组成, Patch Embedding 在输入进Swin Transformer Block前,需要将图片切成一个个 patch,然后嵌入向量。 具体做法是对原始图片裁成一个个window_size*window_size的窗口大小,然后进行嵌入。 这里可以通过二维卷积层,...
1. Swin Transformer 的基本结构 Swin Transformer 采用了分层结构，每一层有一个固定大小的窗口，通过窗口内的自注意力计算特征。Swin Transformer 的主要模块包括：Patch Partition：将输入图像划分为不重叠的Patch。Linear Embedding：将每个Patch映射到一个高维向量空间。Swin Transformer Block：窗口化的多头自注意力（...
创新二:基于CBAM注意力机制优化的SwinTransformer CBAM(Convolutional Block Attention Module)是一种用于卷积神经网络(CNN)的注意力机制,旨在提高模型的表示能力。CBAM通过结合通道注意力(Channel Attention)和空间注意力(Spatial Attention)来增强特征表示,从而提升模型性能。 将CBAM 模块插入到 SwinTransformer 的之后,以增...
制成SwinT模块的价值 如下图所示，Swin Transformer的核心模块就是黄色部分，我们需要将这个部分制成一个通用的SwinT接口，使得更多熟悉CNN的开发者将Swin Transformer应用到CV领域的不同任务中。这么做的价值有两点：1、Swin Transformer自身的能力强大，这个接口将不会过时。①实现超大尺寸整张图片的全局注意力运算所...
Swin Transformer第一步是Patch Partition模块。这一步和ViT相似,通过Patch Partition将输入图片 划分为不重合的patch集合,其中每个patch尺寸为 ,那么每个patch的特征维度为 ,patch块的数量为 。在代码中我们可以看到默认给定一张 的图片,经过patch partition后图片的尺寸为 ...
Swin Transformer模块的核心创新在于其自注意力机制。我们通过将标准的多头自注意力（MSA）模块替换为基于移动窗口的模块来构建Swin Transformer。其他层保持不变，如图3(b)所示。该模块包含一个基于移动窗口的MSA模块，后跟一个2层MLP，其间使用GELU非线性激活函数。每个MSA模块和MLP之前都应用了一个LayerNorm层，以确保...
Swin transformer块有两个子单元。第一个单元使用W-MSA,第二个单元使用SW-MSA。每个子单元由一个规一化层、一个注意力模块、另一个规范化层和一个MLP层组成。第一个子单元使用Window MSA (W-MSA)模块,而第二个子单元使用移位Window MSA (SW-MSA)模块。
W-MSA模块就是将特征图划分到一个个窗口(Windows)中,在每个窗口内分别使用多头注意力模块。 论文在这里还强调了一下W-MSA和MSA计算量的对比,计算公式如下: MSA就是之前ViT不加窗口计算全局注意力。下面就来看看这两个式子是如何计算得到的。 先看MSA:在Transformer中,注意力的计算公式如下所示: ...