Stable Diffusion(LDM的升级版,使用更高分辨率的图像和更多的数据训练) 第一块模型选择用预训练好的VAE来把图像降维,再查看了官方代码中给出的权重和huggingface上社区公开的权重来看,没有使用VQGAN的。 第二块模型的U-Net结构将512*512*3的图像编码到latent space中尺寸为64*64*4,并且在分辨率为64,32,16,8的...
stable diffusion model是扩散模型比较有名的一个变体了,简单来说,与扩散模型对比,可以理解成stable diffusion model就是在latent space上的diffusion model,它只是在扩散模型前后加了一个编码器和解码器,先用编码器把图片压缩成比较小尺寸的latent data,然后把这个latent data当作扩散模型的输入,经过扩散模型之后的输出...
扩散(采样)过程会迭代地向U-Net提供完整尺寸的图像获得最终结果。这使得纯扩散模型在总扩散步数T和图像大小较大时极其缓慢。稳定扩散就是为了解决这一问题而设计的。稳定扩散 Stable Diffusion稳定扩散模型的原名是潜扩散模型(Latent Diffusion Model, LDM)。正如它的名字所指出的那样,扩散过程发生在潜在空间中。这就是...
总结来说,Stable Diffusion 是一款图像生产+调控的集合工具,通过调用各类模型和插件工具,可以实现更加精准的商业出图,加上数据安全性和可扩展性强等优点,Stable Diffusion 非常适合 AI 绘图进阶用户和专业团队使用。 而对于具备极客精神的 AI 绘画爱好者来说,使用 Stable Diffusion 过程中可以学到很多关于模型技术的知识...
这里的重点是扩散，在 Stable Diffusion 中扩散分为两种：前向扩散和后向扩散。简单点说，前向扩散是将...
AI 绘画中各种算法，如 Disco Diffusion、Stable Diffusion 中的常客扩散模型（Diffusion Model）。
粉色的模块是Stable Diffusion的核心,也是Stable Diffusion和其他diffusion模型最大的区别,很多性能上的提升就来源于此。 首先,最需要明确的一点:图片信息生成器不直接生成图片,而是生成的较低维度的图片信息,也就是所谓的隐空间信息(information of latent space)。这个隐空间信息在下面的流程图中表现为那个粉色的4*3的...
Stable Diffusion 模型的原理 接下来我们介绍 SD 模型,之前提到的扩散和预测等过程,本质上都是数学计算。 而目前来说,我们的独立计算机算力都是难以支持这些扩散模型的,而 SD 模型,主要就是解决了计算速度的问题。 潜在扩散模型(latent diffusion model)
Stable Diffusion v1 和 v2 是稳定扩散模型的两个版本。它们之间存在一些差异,包括模型结构、训练方法和生成效果等。 1.0系列模型数据对比 2.0和1.5模型的训数据对比 模型差异(Model difference) Stable Diffusion v1 和 v2 之间存在一些模型差异。首先,它们在模型结构上有所不同。Stable Diffusion v1 使用了经典的...