因此,原始的基于卷积的GAN,并不能很完备的捕捉图片的”global“统计信息。之后也有,self-attention (Zhang+ 2019a),non-local operations (Wang+ 2018b)的提出,来尝试改进。 另一方面,完全基于transformer的CV,近一年半载有井喷的趋势。使用Transformer在CV领域,具有如下若干优势: 第一,有强大的表示能力,并对人工定...
针对这个问题，来自香港中文大学的研究人员发表了一篇论文，旨在了解GAN 模型中Transformer 的内在行为，以缩小基于Transformer的GAN模型与基于CNN主干的GAN模型之间的性能差距。文中不仅研究了无条件的图像合成，而且还研究了如何更少地探索的条件设置。这项研究也是首次在条件设计（conditional setting）下成功使用基于Transfor...
在这种好奇心的驱使下,我们进行了第一个试点研究,即仅使用基于Transformer的架构来构建GAN ,完全没有卷积! 我们的GAN架构称为TransGAN,由一个基于memory的基于转换器的生成器和一个基于转换器的patch-level鉴别器组成,该生成器在减小嵌入尺寸的同时逐步提高特征分辨率。 然后,我们证明TransGAN显著受益于数据增强(比标准...
1.1、主要创新 针对文本生成图像任务中生成图像细节缺失及低分辨率阶段生成图像存在结构性错误(如鸟有两个头,缺少爪子)的问题,基于动态注意力机制生成对抗网络,引入内容感知上采样模块和通道注意力卷积模块,提出一种新的文本生成图像方法ECAGAN。 主要创新点有: 采用基于内容感知的上采样方法,通过输入特征图计算得到重组...
实验表明，不管使用的判别器是基于 ViT 还是基于 CNN，基于修改版 ViT 的生成器都能更好地促进对抗训练。为了更具说服力，研究者在三个标准的图像合成基准上进行了实验。结果表明，新提出的模型 ViTGAN 极大优于之前的基于 Transformer 的 GAN 模型，并且在没有使用卷积和池化时也取得了与 StyleGAN2 等领先的基于 ...
其中,CodeFormer是一种基于Transformer+VQGAN的人脸重建方案,它在人脸修复方面取得了显著的成果。CodeFormer的核心思想是利用Transformer模型对低质人脸的组成和上下文信息进行建模。Transformer模型是一种自注意力机制的深度学习模型,它能够通过自注意力机制捕捉输入序列中的长距离依赖关系,从而更好地理解人脸图像的上下文信息...
Title题目Prior Knowledge-guided Triple-Domain Transformer-GAN for Direct PET Reconstruction from Low-Count Sinograms基于先验知识引导的三域Transformer-GAN,用于直接从低计数正电子发射断层扫描图像重建01文献速递介绍正电子发射断层扫描(PET)作为一种超灵敏且非侵入性的核医学成像技术,能够可视化和量化代谢过程,在疾病...
针对现有基于梯度的对抗样本生成方法可视质量差、基于优化的方法生成效率低的问题,提出基于Transformer和生成对抗网络(GAN)的对抗样本生成算法Trans-GAN。首先利用Transformer强大的视觉表征能力,将其作为重构网络,用于接收干净图像并生成攻击噪声;其次将Transformer重构网络作为生成器,与基于深度卷积网络的鉴别器相结合组成GAN...
GAN)的时间序列异常检测模型,利用改进后的Transformer对时间序列的空间特征进行提取,并使用基于异常分数的异常检测算法和对抗训练以获得稳定性和准确性.模型采用自监督训练的方式,避免了需要手动标注异常数据的麻烦,同时减少了数据集对于监督模型训练的依赖.通过实验验证,本文提出的基于Transformer的时间序列异常检测模型在准确...
Transformer等序列模型与自然语言处理、GAN等生成模型与计算机视觉 基于深度学习的预训练大模型算法与应用研究 项目介绍:教授将具体介绍ML和AI中的生成方法。教授将从逻辑回归模型开始,首先介绍神经网络的概念,随后深入研究深度学习模型的训练和测试...