ViT-VQ-GAN DALL-E SPAE HQ-VAE UniCode LQAE RQ-VAE FSQ VQ-GAN-LC Make-A-Scene MaskGIT Muse Parti VAR NBP 本文主要介绍AutoEncoder在图像生成(主要是自回归图像生成)以及多模态大模型中的应用。 VAE 《Auto-Encoding Variational Bayes》 https://arxiv.org/pdf/1312.6114arxiv.org/pdf/1312.6114...
Adversarial AutoEncoder 既然说到生成模型引入AutoEncoder,那必定也少不了将GAN的思路引入AutoEncoder[9],也取得了不错的效果。 对抗自编码器的网络结构主要分成两大部分:自编码部分(上半部分)、GAN判别网络(下半部分)。整个框架也就是GAN和AutoEncoder框架二者的结合。训练过程分成两个阶段:首先是样本重构阶段,通过...
Adversarial AutoEncoder 既然说到生成模型引入AutoEncoder,那必定也少不了将GAN的思路引入AutoEncoder[9],也取得了不错的效果。 对抗自编码器的网络结构主要分成两大部分:自编码部分(上半部分)、GAN判别网络(下半部分)。整个框架也就是GAN和AutoEncoder框架二者的结合。训练过程分成两个阶段:首先是样本重构阶段,通过...
自动编码器是一种无监督的数据维度压缩和数据特征表达方法。在大部分提到自动编码器的场合,压缩和解压缩的函数是通过神经网络实现的。 一个简单的自编码器结构如下所示: 可以看到上述结构只有一个隐藏层,从输入到隐藏层即为Encoder(编码器),从隐藏层到输出即为Decoder(解码器)。 一提到降维,...
我们之前讲过GAN,它与GAN相比有着一些好处,同时也有着一些缺点。我们先来讲讲其跟GAN相比有着哪些优点。 第一点,我们使用GAN来生成图片有个很不好的缺点就是我们生成图片使用的随机高斯噪声,这意味着我们并不能生成任意我们指定类型的图片,也就是说我们没办法决定使用哪种随机噪声能够产生我们想要的图片,除非我们能...
前一篇文章详细讲解了循环神经网络LSTM RNN如何实现回归预测,通过sin曲线拟合实现如下图所示效果。本篇文章将分享无监督学习Autoencoder的原理知识,然后用MNIST手写数字案例进行对比实验及聚类分析,运行效果如下图所示。基础性文章,希望对您有所帮助! 本专栏主要结合作者之前的博客、AI经验、“莫烦”老师的视频学习心得和...
生成对抗网络(GenerativeAdversarial Networks,GAN):生成对抗网络是一种由生成器和判别器组成的对抗性模型。自动编码器可以与生成对抗网络相结合,实现更加高质量的样本生成和图像重建。 自监督学习:自监督学习是一种无监督学习的方法,通过使用数据本身的特性来进行训练。自动编码器可以用于自监督学习,从而实现对数据的更好...
红框中与“AE简易说明图”中的内容类似,就是一个AE,对抗思想的引入在于黄框中的内容,AE的encoder部分,作为GAN中的generator,生成样本,也就是编码层中的编码,与黄框左边部分的真实样本,一个符合p(z)分布的样本混在一起让discriminator进行辨别,从而使discriminator与作为generator的encoder部分不断优化,并且在对抗的同...
AAE的核心其实就是利用GAN的思想,利用一个生成器G和一个判别器D进行对抗学习,以区分Real data和Fake data。具体思路是这样的,我现在需要一个满足 概率分布的 向量,但是 实际上满足 分布。那么我就首先生成一个满足 分布的 向量,打上Real data的标签,然后将 向量打上Fake data的标签,将它们俩送入判别器D。判别...
我们之前讲过GAN,它与GAN相比有着一些好处,同时也有着一些缺点。我们先来讲讲其跟GAN相比有着哪些优点。 第一点,我们使用GAN来生成图片有个很不好的缺点就是我们生成图片使用的随机高斯噪声,这意味着我们并不能生成任意我们指定类型的图片,也就是说我们没办法决定使用哪种随机噪声能够产生我们想要的图片,除非我们能...