一、四种模型训练方法简介 Stable Diffusion 有四种训练模型的方法:Textual Inversion、Hypernetwork、LoRA 和Dreambooth 。它们的训练方法存在一定差异,我们可以通过下面对比来评估使用哪种训练方式最适合你的项目。 如果你知道模型中已经可以产生你想要的东西,例如,某种风格,或者已经 "在里面 "的特定名人,你可以使用这个...
随着StableDiffusion的新技术越来越多,就算是3090、4090之类的24g大显存卡皇有时也遭不住各种模型在pytorch里横冲直撞.因此有必要进行适当的优化来减少显存占用并加速图片的推理生成. (2024.9.3) 总结一下 首先优化有时间和空间两个方面,一个是算力受限(跑出一张图要等几分钟),另一个显存受限(还没跑就OOM 爆显...
另外一方面，则是下面的参数选择。比如图像大小，强烈建议别超过512X512，更大容易一张图里出现好几个主体，这背后的原因是Stable Diffusion本身就是512X512训练的，啥时候它用更高分辨率训练再说。如果想要更高清的，可以通过一些办法进行后续的处理，比如一些GAN模型可以提升分辨率。下方则是很多参数的选择。比如采样方...
Stable-Diffusion来到XL时代,如果屏幕前的你正在或正想使用kohya-ss、秋叶、赛博炼丹炉来进行XL的LoRA模型训练,那么,以下几点针对8G、12G、16G、24G显存的建议参数不可错过。具体建议设置如下: 一、LoRA type:8Gvram用standard,12Gvram以上的可选用LyCORIS/LoHa; 二、Train batch size:8、12、16、24Gvram依次推荐使...
1. 太多需要更多时间准备和更长的训练时间,时间不够相似度不够高; 2. 太少会过拟合,不容易产生变化,描述词一改可能就不像了 以下数量仅供参考,建议按实际情况调整,如果实在是找不到更多的图片,可以使用Stable diffusion自带图像预处理>创建水平翻转副本来提高学习数量。 简单主体 人物,动漫,面部等 至少15张(少于...
总所周知，AI绘图都是要靠显卡性能的。尽管可以用CPU算力跑Stable Diffusion WebUI，但是速度相对显卡来说，就是走路和坐飞机的区别。比如一张显卡30秒就能算好的图，CPU要算10分钟。因此，想要高效运行Stable Diffusion的关键就在于GPU性能。而且显存最好能在8g及以上，才能保证在输出高清图时不会爆显存。另外，...
在设置里的stable diffusion选项卡中,选择了将模型和vae放入缓存(上方两条缓存数量) 导致controlnet无法生效。关闭后依然无法生效,各种奇怪报错。 重启电脑即可。 必须强调:模型和vae放入缓存的优化方式与controlnet不兼容。但是低显存、不用controlnet十分推荐!!!详情可以看这篇文章:(不是我的但是很好,大佬很厉害!)...
回到Stable Diffusion上，目前主流的Stable Diffusion 1.5可以使用FP16和FP32。FP32相比FP16有着更高的精度，不过RTX 20系列的FP32性能只有FP16的一半，而RTX 30和RTX 40系列虽然FP32和FP16性能一致，但FP32占用的显存是FP16的两倍，使用起来不是很划算。所以在实际使用中，为了追求更高的速度和更小的显存占用...
1,8g的显存,少于8g有些大图(手机,电脑壁纸一类)高清修复最后会报错。 2,风险,显卡转速大家都能听出来,那训练一天或者好几天,对只玩一玩训练的人来说,属于低概率的中大风险事件。 3,大图运行几乎无法使用其他利用显卡的软件,效率不是很高(不适合摸鱼) ...
2.从测试结果来看，AMD显卡在Stable Diffusion的AI图片生成计算中能够发挥出远胜于CPU计算的性能增幅，使用GPU加速计算能带来事倍功半的效果；3.从测试情况来看，测试中当渲染分辨率设置超过512时(如768×768)，就会出现爆显存的情况，这与部署方案和模型有一定关系，但也反映了在正常模式下运行时，8GB显存几乎是Stable...