Stable diffusion model也可以叫做checkpoint model,是预先训练好的Stable diffusion权重,用于生成特定风格的图像。模型生成的图像类型取决于训练图像。如果训练数据中从未出现过猫的图像,模型就无法生成猫的图像。同样,如果只用猫的图像来训练模型,它也只会生成猫的图像。
01.Stable Diffusion 是什么? 简单来说Stable Diffusion是一个文本到图像的潜在扩散模型,由CompVis、Stability AI和LAION的研究人员和工程师创建。它使用来自LAION-5B数据库子集的512x512图像进行训练。使用这个模型,可以生成包括人脸在内的任何图像,因为有开源的预训练模型,所以我们也可以在自己的机器上运行它。 本文...
stable diffusion 采用了VAE模型的预加载方式,在训练过程中,通常会采用预训练的通用VAE(变分自编码器)或自己训练的VAE模型。他使用Encoder部分对原图片进行处理,将输入图片信息降维到latent space(潜在空间)。在latent space上应用Diffusion Model进行正向采样和逆向预测。总的来说,有如下步骤:数据预处理:使用预训练的VAE...
在上一篇文章里我们列举了国内可以下载StableDiffusion模型的两个著名网站,那么小伙伴们下载下来模型之后,模型文件放到哪里呢?不同模型又是怎么用的呢?我们今天来讨论这个。
1.打开启动程序：打开Stable Diffusion安装文件夹，然后双击“start.bat”文件。2.等待应用程序启动：一旦你启动了Stable Diffusion，你将看到一条消息告诉你应用程序正在启动。你需要等待几秒钟，应用程序才能完全启动。3.开始使用：一旦应用程序启动，你就可以开始使用它。请注意，Stable Diffusion可能需要一些时间来加载...
Stable Diffusion模型对比及使用 前言 主要分为四类:Checkpoint、LoRA、Textual Inversion、Hypernetwork,分别对应 4 种不同的训练方式。 Checkpoint:通过 Dreambooth 训练方式得到的大模型, 特点是出图效果好,但由于训练的是一个完整的新模型,所以训练速度普遍较慢,生成模型文件较大,一般几个 G,文件格式为 safetensor...
2. 模型训练步骤 2.1 训练环境搭建 WebUI或者Diffuser https://github.com/AUTOMATIC1111/stable-diffusion-webui Lora训练环境 https://github.com/kohya-ss/sd-scripts 2.2 数据准备 从网上爬取一些想要的角色图片,或者直接去截图。 这次我做的初春,找一些图片就行了,不需要很多,20张就可以,各个角度,全身,大头...
案例一:基础 Stable Diffusion 模型 第一步:将模型上传到 COS 1.在任何一个终端运行如下下载命令: curl'https://tione-prod-open-1256580188.cos.ap-guangzhou.myqcloud.com/ti-cloud/ti-ems/tiacc-demo-models/hg-stable_diffusion/runwayml-stable-diffusion-v1-5-models.zip'-o runwayml-stable-diffusion...
怎么使用这么好的登西 今天带来吧友分享的 Stable Diffusion安装使用教程 *文末获取安装包* 安装教程 01.安装之前需先确认: a、显存 4GB 以上(建议N卡,如果是自己训练模型,需更高显存) b、硬盘存储空间,100G 以上 c、操作系统 Win10 及以上 如果都满足了,那么你就可以看接下来的安装步骤啦~ ...