2.Diffusion Model (扩散模型)解读系列二:(DDIM) denoising diffusion implicit models 3.Diffusion Model (扩散模型)系列四:DALLE 2 Generative Model of Latent Representations: 基于前述的压缩模型,已经有能力在低维度下进行特征操作,而结合前述的感知压缩模型和扩散模型,我们可以将上述两者进行结合,减少计算量的技术...
Xf: 并不是直接输入到model中,而是经过VAE进行编码转换后才输入到model中; y: 此处是指prompt提示词,在输入到model中之前也是用预训练的transformer进行编码转换; 另外Stable Diffusion还借鉴了transformer的attention模块。
稳定扩散就是为了解决这一问题而设计的。稳定扩散 Stable Diffusion稳定扩散模型的原名是潜扩散模型(Latent Diffusion Model, LDM)。正如它的名字所指出的那样,扩散过程发生在潜在空间中。这就是为什么它比纯扩散模型更快。潜在空间首先训练一个自编码器,学习将图像数据压缩为低维表示。通过使用训练过的编码器E,可以将...
稳定扩散就是为了解决这一问题而设计的。 稳定扩散 Stable Diffusion 稳定扩散模型的原名是潜扩散模型(Latent Diffusion Model, LDM)。正如它的名字所指出的那样,扩散过程发生在潜在空间中。这就是为什么它比纯扩散模型更快。 潜在空间 首先训练一个自编...
我们先从提示词开始吧,我们输入一段提示词a black and white striped cat(一条黑白条纹的猫),clip会把文本对应一个词表,每个单词标点符号都有相对应的一个数字,我们把每个单词叫做一个token,之前stablediffusion输入有限制只能75个单词(...
稳定扩散 Stable Diffusion 稳定扩散模型的原名是潜扩散模型(Latent Diffusion Model, LDM)。正如它的名字所指出的那样,扩散过程发生在潜在空间中。这就是为什么它比纯扩散模型更快。 潜在空间 首先训练一个自编码器,学习将图像数据压缩为低维表示。 通过使用训练过的编码器E,可以将全尺寸图像编码为低维潜在数据(压缩...
Stable Diffusion属于深度学习模型里的一个类别,称为diffusion models(扩散模型)。这类模型时生成式模型,也就是说它们用于生成新的数据,这类新数据类似于它们训练时的数据。对于SD来说,这类新数据便是图片。 为什么叫diffusion model?因为它的数学公式看起来非常像物理上的扩散现象。下面我们具体介绍它的原理。
最简单的话来说就是:它先将特征张量进行高斯噪声处理,整个过程就跟马尔科夫链有些类似,然后再将已经满是高斯噪声的张量一步步进行降噪处理,最后得到我们想要的图。 (ps:所有的推算均不展示,想了解的可以去看看原论文) 先看看前向传播过程: 这里的x0表示原始数据,就比如图中的修苟,可以看到越往后面,噪声越大,...
1.1 Stable Diffusion 发展的历史 Stable Diffusion 这个模型架构是由 Stability AI 公司推于2022年8月由 CompVis、Stability AI 和 LAION 的研究人员在 Latent Diffusion Model 的基础上创建并推出的。其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的首席研究科学家 Patrick Esser,以及慕尼黑大学机器视觉学习组的...
Stable diffusion model也可以叫做checkpoint model,是预先训练好的Stable diffusion权重,用于生成特定风格的图像。模型生成的图像类型取决于训练图像。 如果训练数据中从未出现过猫的图像,模型就无法生成猫的图像。同样,如果只用猫的图像来训练模型,它也只会生成猫的图像。