Self-attention VS CNN: CNN可以使看做一个简化版的self attention,可以严格证明。Self attention的convolution size是由网络自己决定的 《On the relationship between Self-attention and Convolutional layers》。CNN在小数据集上效果好,Self-attention大数据集上效果好。 Self-attention VS RNN: Self-attention一般都比...
Global Spectral self-Attention (GSA):这个模块可以简单的认为是将 H\times{W} 一个通道的像素进行投影变成token,token的数量是通道的数量。随后就进行自注意力等相关操作。 3 实验 表1:在ICVL数据集上使用已知方差的高斯噪声进行去噪比较。 从上表看出这篇论文提出的方法所有指标都比其他方法好。
Spatial-Spectral Self-AttentionLarge-scale real dataCoded aperture snapshot spectral imaging (CASSI) is an effective tool to capture real-world 3D hyperspectral images. While a number of existing work has been conducted for hardware and algorithm......
This study presents a spectral–spatial self-attention network (SSSAN) for classification of hyperspectral images (HSIs), which can adaptively integrate local features with long-range dependencies related to the pixel to be classified. Specifically, it has two subnetworks. The spatial subnetwork intro...
自注意力机制可以获得每两个波段的关系。例如,机载可见光/红外成像光谱仪(AVIRIS)包含224个波段。使用self-attention,通过学习过程可以得到一个形状为224×224的矩阵。矩阵中的每个元素代表两个波段之间的关系。如图1所示,上一部分CNN提取的特征然后被送Transformer学习长程依赖,主要包含三个元素。
1) 我们提供了一种基于spectral–spatial morphFormer的新的可学习分类网络,该网络通过膨胀和侵蚀算子进行空间和光谱形态卷积。 2) 我们引入了一种新的注意力机制,用于将现有的 CLS tokens和从HSI patch tokens获得的信息有效地融合到一个新的token中,以进行形态特征融合。
Multigranularity Depthwise Convolution Token Embedding(MDTE): 为了充分捕捉HSI的多粒度特征,设计了一个MDTE模块,将视觉特征转换为具有不同粒度的语义tokens,使模型能够感知不同粒度的HSI信息。此外,深度卷积的应用还分离了空间和频谱特征,这保留了通道分布信息,并为后续的SSA机制提供了基础。图3展示了MDTE的过程。
Fig. 2 (a) Spatial-Spectral Self-Attention (TSA) for one V feature (head). The spatial correlation involves the modelling for x-axis and y-axis separately and aggregation in an order-independent manner: the input is mapped to Q and K for each dimension: the size of kernel and feature ...
可以看出,方法的核心在于SSMA模块,即spatial-spectral multi-head self-attention,该模块结构如下图所示: 其实原理也非常简单,图中画的非常清楚了。需要注意的是,在 spatial attention 前有一个 shift operation,论文中说是在X,Y方向分别 shift 的尺寸为 M/2 个像素,代码为: shifted_x = torch.roll(x, shifts...
In this section, the spectral-spatial domain attention network (SSDA) architecture will be introduced in detail, which includes a spectral-spatial module, a domain attention module, and a multiple loss module. 3.1. SSDA Framework Figure 1 displays the training framework of the SSDA. In particular...