The Stable Diffusion Guide huggingface.co/docs/diffusers/v0.14.0/en/stable_diffusion 翻译:@Mia (转载请私信或邮件) 介绍 Stable Diffusion是一种 Latent Diffusion [1]模型,由LMU Munich机器视觉和学习小组(CompVis)的研究者开发。 在EleutherAI 和 LAION 的支持下,Stability AI、CompVis 和 Runway 合作...
这个去噪过程称为采样,因为Stable Diffusion 在每一步中生成一张新的样本图片。采样中使用的方法称为采样器或采样方法。 简单来说,Stable Diffusion 通过重复进行随机采样和去噪,最终生成干净的图片。采样器决定了如何进行随机采样,不同的采样器会对结果产生影响。 补充:种子(seed)的数值决定了初始第一张的噪声。 下...
最后，我们再来看看文生图板块另一个十分重要的部分：参数设置。前面有提到参数的主要作用是设置图像的预设属性，这里的意思是 WebUI 作者将原本 Stable Diffusion 代码层常用于控制图像的参数进行了提取，通过滑块等可视化表单的方式来进行操控，这样就无需靠输入提示词来进行控制，使用起来更加便捷高效。
Stable Diffusion 包含大约 860M 参数,以 float32 的精度编码大概需要 3.4G 的存储空间。更多关于它的信息可以参考 Stable Diffusion UNET 结构。 最后,还有一个 text embedding 模型,即将一段变长的文字转换成固定维度的向量。Stable Diffusion 1.x 用的是 OpenAI 开源的 ViT-L/14 CLIP 模型,2.x 用的是 Open...
如果你在尝试复现使用Stable Diffusion生成的图像时失败了,即使你使用了相同的种子和参数,那可能是因为你使用了一个祖先采样器。这是正常现象!因为每一步重新加入的噪声都是随机的,不同的实现或采样器版本几乎肯定会产生不同的结果。 Euler A、DPM2 A 或 DPM++ 2S A 等都是祖先采样器的例子。
Stable Diffusion:简称SD模型,其底层模型就是上面的潜在扩散模型,之所以叫这个名字是因为其研发公司名叫Stability AI,相当于品牌冠名了 Stable Diffusion Web Ul:简称SD WebUI,用于操作上面Stable Diffusion模型的网页端界面,通过该操作系统就能控制模型出图,而无需学习代码 ...
上图中我为大家整理汇总了 Stable Diffusion 常用语法的格式和功能说明,WebUI 的高阶语法包括:强调关键词、分步绘制、停止绘制、打断提示词、链接提示词、交替绘制、提示词转义,由于是我自己理解后命名的功能,和作者的英文翻译会有部分差异,大家重点关注其语法和实际效果即可。
△图像截取自Guide Diffusion 离散型扩散模型 在离散型扩散模型领域，在同一时间，也涌现出了一系列对后续工作具有很大影响的工作，例如：于2021年2月发布的论文Multinomial Diffusion可谓是最早探索离散扩散模型的研究之一。该论文探讨了离散扩散模型的形式与应用。于2021年7月发布的D3PM几乎可以被视为后续所有离散扩散模型...
何时使用:可以一直使用,除非你更倾向于使用Tiny VAE优化(https://www.felixsanz.dev/articles/ultimate-guide-to-optimizing-stable-diffusion-xl#tiny-vae)。 VAE slicing 当同时生成多张图像时(增加批大小),VAE会同时解码所有张量(并行)。这会大大增加内存使用量。为避免这种情况,可以使用VAE切片技术逐个解码张量(...
在本篇教程里,我会详细介绍Stable Diffusion的文生图方法。上期回顾:8000字干货!超全面的Stable Diffusion学习指南:安装篇在本篇教程里,我会为你介绍 Stable Diffusion 的配置要求和安装方法。