本文提出了一种SSFTT方法来提高HSI分类的性能。该方法将骨干CNN和Transformer结构有机地集成在一起。卷积层用于完全捕获低级别卷积的光谱-空间特征。然后,将特征转换为语义tokens。此外,Transformer Encoder结构用于对tokens的高级语义特征进行建模。这样的操作使得对土地覆盖特征的分析更加充分。实验表明,该方法能够有效地提...
CLS(Xcls)token使用HSIpatch tokens用于在彼此之间交换信息,以提供整个HSI补丁的抽象表示。 整个操作在Transformer编码器的块中执行,其中每个Transformer块由光谱和空间形态特征提取块和残差多头交叉注意块组成。 Spectral Morph和Spatial Morph两层的输出以通道形式(X′patch)与Xcls级联,以生成整个形态块的最终输出。来自...
为了解决这个问题,作者提出了 Spatial-Spectral Transformer。 论文的主要贡献:(1)构建了一个spatial-spectral Transformer挖掘 non-local spatial similarity 和 global spectral correlation. (2)设计了一个由空间自注意力和光谱自注意力组成的去噪模块。 2、方法简介 网络架构如下图所示: 可以看出,方法的核心在于SSMA...
论文地址:[2211.14090] Spatial-Spectral Transformer for Hyperspectral Image Denoising (arxiv.org) 代码开源:github.com/MyuLi/SST 1、介绍 高光谱图像(HSI)去噪是后续HSI应用的关键预处理过程。但是基于卷积的方法面临计算效率与对HSI非局部特征建模能力之间的权衡。该论文提出了一种 Spatial-Spectral Transformer (...
Spatial-SpectralTransformerforHyperspectralImageClassification提出的用于HSI分类的SST框架如图1所示。总的来说,分类方法分为三个部分:基于CNN的空间特征提取、基于改进的Transformer的空间-光谱特征提取和基于MLP的分类。 首先,对于HSI的每个波段,选择包含待分类像素的相邻像素的2D补丁作为输入。训练样本有𝑛(即HSI...
Spatial-SpectralTransformerforHyperspectralImageClassification提出的用于HSI分类的SST框架如图1所示。总的来说,分类方法分为三个部分:基于CNN的空间特征提取、基于改进的Transformer的空间-光谱特征提取和基于MLP的分类。 首先,对于HSI的每个波段,选择包含待分类像素的相邻像素的2D补丁作为输入。训练样本有𝑛(即HSI的波段数...
In this paper, a joint spectral–spatial information method, named spectral–spatial transformer-based feature fusion tracker (SSTFT), is proposed for hyperspectral video tracking, which is capable of utilizing spectral–spatial features and considering global interactions. Specifically, the feature ...
The framework efficiently amalgamates the robustness and efficacy of three modern backbone networks, i.e., Multiscale CNN, Squeeze and Excitation (SE), and Transformer named MSTSENet. Initially, the multiscale convolution module integrates three branches of 3D convolution layers, each employing ...
(1)提出了一种改进的DenseTransformer,它利用密集连接来解决Transformer中的梯度消失问题。 (2)将CNN、DenseTransformer和多层感知器(MLP)相结合,提出了一种新的HSI分类框架,即spatial-spectral Transformer (SST)。在该SST中,利用精心设计的CNN提取HSI的空间特征,利用DenseTransformer捕获HSI的序列光谱关系,利用MLP完成分...
MTG由一个CNN特征提取器和一个MDTE模块组成,该模块使用CNN提取抽象语义特征,并将具有完全分离的空间-光谱信息的不同粒度的tokens嵌入到转换器中。因此,在HybridFormer模型中,多粒度特征被用作Transformer 的输入。 CNN Feature Extractor:由于HSI训练样本的数量有限,因此应用简单的四层卷积块来提取浅层特征。如图2所示...