ViT-VQ-GAN DALL-E SPAE HQ-VAE UniCode LQAE RQ-VAE FSQ VQ-GAN-LC Make-A-Scene MaskGIT Muse Parti VAR NBP 本文主要介绍AutoEncoder在图像生成(主要是自回归图像生成)以及多模态大模型中的应用。 VAE 《Auto-Encoding Variational Bayes》 https://arxiv.org/pdf/1312.6114arxiv.org/pdf/1312.6114...
Adversarial AutoEncoder 既然说到生成模型引入AutoEncoder,那必定也少不了将GAN的思路引入AutoEncoder[9],也取得了不错的效果。 对抗自编码器的网络结构主要分成两大部分:自编码部分(上半部分)、GAN判别网络(下半部分)。整个框架也就是GAN和AutoEncoder框架二者的结合。训练过程分成两个阶段:首先是样本重构阶段,通过...
Adversarial AutoEncoder 既然说到生成模型引入AutoEncoder,那必定也少不了将GAN的思路引入AutoEncoder[9],也取得了不错的效果。 对抗自编码器的网络结构主要分成两大部分:自编码部分(上半部分)、GAN判别网络(下半部分)。整个框架也就是GAN和AutoEncoder框架二者的结合。训练过程分成两个阶段:首先是样本重构阶段,通过...
自编码器(Autoencoder)在无监督学习和降维中的应用 自编码器(Autoencoder)是一种无监督学习算法,广泛应用于数据的表示学习和降维。自编码器通过将输入数据压缩为低维编码,然后再将其重新构建为与原始数据尽可能相似的输出。本文将详细探讨自编码器在无监督学习和降维中的应用。 自编码器的工作原理 自编码器由编码器...
我们之前讲过GAN,它与GAN相比有着一些好处,同时也有着一些缺点。我们先来讲讲其跟GAN相比有着哪些优点。 第一点,我们使用GAN来生成图片有个很不好的缺点就是我们生成图片使用的随机高斯噪声,这意味着我们并不能生成任意我们指定类型的图片,也就是说我们没办法决定使用哪种随机噪声能够产生我们想要的图片,除非我们能...
自动编码器是一种无监督的数据维度压缩和数据特征表达方法。在大部分提到自动编码器的场合,压缩和解压缩的函数是通过神经网络实现的。 一个简单的自编码器结构如下所示: 可以看到上述结构只有一个隐藏层,从输入到隐藏层即为Encoder(编码器),从隐藏层到输出即为Decoder(解码器)。 一提到降维,...
对抗自编码器结合了GAN的思想，将自编码部分与GAN判别网络结合，通过交替更新参数来提高encoder的鲁棒性，实现样本重构和生成。训练完毕后，自编码器的encoder部分学习到了从样本数据到抽象特征的映射关系。综上所述，AutoEncoder模型框架经历了从基本原理到各种演进版本的不断探索和发展，这些演进不仅丰富了...
生成对抗网络(GenerativeAdversarial Networks,GAN):生成对抗网络是一种由生成器和判别器组成的对抗性模型。自动编码器可以与生成对抗网络相结合,实现更加高质量的样本生成和图像重建。 自监督学习:自监督学习是一种无监督学习的方法,通过使用数据本身的特性来进行训练。自动编码器可以用于自监督学习,从而实现对数据的更好...
红框中与“AE简易说明图”中的内容类似,就是一个AE,对抗思想的引入在于黄框中的内容,AE的encoder部分,作为GAN中的generator,生成样本,也就是编码层中的编码,与黄框左边部分的真实样本,一个符合p(z)分布的样本混在一起让discriminator进行辨别,从而使discriminator与作为generator的encoder部分不断优化,并且在对抗的同...
AAE的核心其实就是利用GAN的思想,利用一个生成器G和一个判别器D进行对抗学习,以区分Real data和Fake data。具体思路是这样的,我现在需要一个满足 概率分布的 向量,但是 实际上满足 分布。那么我就首先生成一个满足 分布的 向量,打上Real data的标签,然后将 向量打上Fake data的标签,将它们俩送入判别器D。判别...