3. VAE代码 1. VAE 变分自编码器-网络结构 VAE模型由两部分组成,Encoder + Decoder。 整体结构如下: 从整体来看,VAE由两部分组成Encoder+Decoder,Encode编码时,将X进行下采样到Z;Decode解码时,将 Z' 进行上采样到 X'。 SD中VAE网络结构 2. 数据流路径 1> 训练时 采用Encoder模块,对RGB输入数据进行降维压缩...
对于Stable Diffusion WebUI,大模型的安装默认目录是:<stable-diffusion-webui>\models\Stable-diffusion ,不过这个目录是可以通过启动参数更改的,注意确认你自己的大模型目录。 VAE模型 上面提到 Stable Diffusion 生成图片时会在一个潜在空间中进行处理,图片数据和潜在空间数据的转换就是由VAE模型处理的。VAE模型在这个...
首先，SD模型存放的文件夹是可以添加子文件夹的，并且支持中文，因此你可以根据自己的需求将模型进行分类存放：其次你在C站或者其他网站下载模型的时候，建议最好把该模型的效果图也下载一张下来，和对应的模型放在一起并且重命名为相同的名字：这样你在SD界面点击显示附加网络面板的红色按钮时，不仅可以看到该模型的效...
由于Stable Diffusion v1是在512 x 512的图片上进行的fine tune,所以若是生成超过512 x 512 大小的图片时,会导致有重复的对象。例如生成的人物有“双头”问题。如果一定要用v1版本,则至少先保持512像素,然后在使用AI upscaler工具生成更高的分辨率。 4.4. 为什么潜空间是合理的 为什么VAE可以压缩一张图片到非常小...
AI绘图未来是一种趋势，我会分多节详细把 Stable Diffusion（之后简称SD）使用方法讲透。已经下载好SD的小伙伴，解压后，直接打开A启动器.exe 弹出界面 点 版本管理，点 开发版，如果没有勾选最新的，可以勾选 再点 扩展，点一键更新，把插件更新到最新版 再点 高级选项，点 环境维护，点 配置Pytorch ，选...
如果你的Stable-Diffusion-WebUI界面中,没有看到这个入口,可以点击“设置”,找到“用户界面”,在快捷设置列表中补充上“sd_vae”,然后重启webui界面即可。 我们进入正题,接下来我们用angthing-v4.5模型来测试VAE对于图片的效果的对比。图1为未添加VAE模型的效果,图2为添加了VAE模型的效果。从图片对比可以看出来,添加...
然后刷新 web UI 界面(就是 SD 操作界面) 2. 模型的 VAE(Sd 的 VAE) VAE 的全称是 Variational Auto-Encoder,翻译过来是变分自动编码器,本质上是一种训练模型,Stable Diffusion 里的 VAE 主要是模型作者将训练好的模型“解压”的解码工具。 这里可以切换 VAE。一般情况下我们就选择第一个自动就行了。 在C ...
接下来说一说模型的分类,SD常用模型大致分为五种,第一种我们称为大模型或者主模型,主模型的存放路径为SD安装目录\models\Stable-diffusion: 大模型中首先有一类模型我们需要了解,那就是官方模型,例如我这里下载的有官方模型1.5版本和2.1版本: 官方模型我们日常很少直接用它来生成图片,它更多被当做底模用于训练模型,...
二、Stable Diffusion 模型的运行原理 在上面介绍的几个概念中,你会发现都包含了 Diffusion 扩散模型这个词,所以我们先从它开始讲起。 Diffusion 模型是图像生成领域中应用最广的生成式模型之一,除此之外市面上还有生成对抗模型(GAN)、变分自动编码器(VAE)、流模型(Flow based Model)等其他模型,它们都是基于深度学习...
Stable Diffusion模型目前有版本1和版本2,2个都是开源的。但1版本使用的是OpenAI的CLIP,2版本用的是OpenCLIP,它是CLIP的开源版本。虽然从解码提示词的角度来说,Stable Diffusion1.5的版本比Stable Diffusion2的版本要表现得更好些,因此,我们比较推荐的是Stable Diffusion1.5版本。