例如,参考论文《Spectral-Spatial Feature Tokenization Transformer for Hyperspectral Image Classification》中提出的 SSFTT 网络。以下是一个简化的代码框架,用于说明如何结合 CNN 和 Transformer 来实现这一模型: python import torch import torch.nn as nn import torch.nn.functional as F from transformers import ...
1) 在我们的SSTFF网络中,提出了一种简单高效的分层CNN模块,用于提取浅层空间-光谱特征。它只由一个三维卷积层和一个二维卷积层组成。然后,将该模块与Transformer结构相结合,开发出一种新的轻量级网络,以取代单一的CNN结构,从而降低计算成本。 2) 提出了一种高斯分布加权tokenization模块,将浅层空间-光谱特征转换为t...
Motivation 1)尽管CNN能够提取空间域中的上下文信息,但它们无法有效地提取序列信息,特别是长期和中期依赖关系。因此,它们在HSI分类中的性能可能会受到具有相似频光谱特征的影响。 2)Transformer擅长于表征光谱特征,但无法对局部语义元素进行建模或有效利用空间信息。 3)数学形态学(Mathematical morphology,MM)是一种基于拓扑...
classification 基本还是沿着光谱分类、空间分类、空谱联合分类进行阐述,其中光谱是1D-CNN,空间是降维(降维方法有很多了,PCA,卷积都可以降维)+2D-CNN。空谱如下图,又分了三种...这是一篇2019年10月份的关于高光谱图像分类的综述,有李树涛和陈雨时两位大佬的署名。 1.Introduction two main challenges: 1.the large...
本文提出了two-branch CNN用于多源遥感数据,该结构通过提取HSI和other sources(LiDAR or VIS)特征,然后全连接层融合。 对于HIS branch:是一个dual-tunnel CNN,包含spectral(光谱)tunnel和spatial(空间)tunnel。光谱tunnel 采用 1D conv ,空间 tunnel 采用 2D conv。再将两者 ...
capturedbydifferentsensors.Experimentalresultsdemonstratethatour3D-CNN-basedmethod outperformsthesestate-of-the-artmethodsandsetsanewrecord. Keywords:hyperspectralimageclassification;deeplearning;2Dconvolutionalneuralnetworks; 3Dconvolutionalneuralnetworks;3Dstructure ...
(2)将CNN、DenseTransformer和多层感知器(MLP)相结合,提出了一种新的HSI分类框架,即spatial-spectral Transformer (SST)。在该SST中,利用精心设计的CNN提取HSI的空间特征,利用DenseTransformer捕获HSI的序列光谱关系,利用MLP完成分类任务。 (3)进一步提出了动态特征增强(feature augmentation)方法,以缓解过拟合问题,从而更...
CNN and 3D CNN to construct a deep covariance attention network38. Gao et al. proposed densely connected multiscale attention network by combining multi-scale technology and densely connected structure39. Hang et al. explored attention-aided CNN based on the spectral attention module and the ...
我们比较了SSRN与核SVM[31]和最先进的深度学习模型,如SAE[17]和3-D CNN[22]。为了证明该框架中光谱和空间残差块的有效性,我们还测试了只包含光谱特征学习部分(SPC)和只包含空间特征学习部分(SPA)的网络。此外,我们评估了SPA模型在没有跳跃连接的情况下生成的较长版本的3-D CNN(简称CNNL),以研究设计的空间残...
高光谱图像(HSI)去噪是后续HSI应用的关键预处理过程,但是基于CNN的方法需要在计算效率与非局部特征建模能力之间进行权衡。为了解决这个问题,作者提出了 Spatial-Spectral Transformer。 论文的主要贡献:(1)构建了一个spatial-spectral Transformer挖掘 non-local spatial similarity 和 global spectral correlation. (2)设计...