从训练成本上, stable diffusion V2.0需要大量A100的训练集群在1200万的训练数据训练2000GPU-hours, 而Depth-based ControlNet在stable diffusion V1.5的基础上预训练, 使用单张RTX 3090TI在20万数据上训练1周。这么对比确实ControlNet太香了 segmentation 下面的图对比的是PITI(Pretraining-Image-to-Image)和segmentatio...
3 .Training comment 输入框 (Optional) Add training comment to be included in metadata.:这里相当于你对训练的一个描述,你可以在此处记录一个简短的对本次训练的文本描述。该文本可以作为“元数据”嵌入到完成的 LoRA 模型文件中。 之后,你可以通过单击 Stable Diffusion WebUI 的 LoRA 选择屏幕上的 ⓘ 标...
https://rentry.org/lora-training-science https://github.com/KohakuBlueleaf/LyCORIS/blob/main/Algo.md https://arxiv.org/abs/2303.09556 https://arxiv.org/abs/2208.07339 https://www.crosslabs.org/blog/diffusion-with-offset-noise
III. Data Acquisition 把之前准备好的图片放到(training set) 中。可以有子目录,也可以没有。例如: 4.2. Data Annotation 这一步为训练集自动生成 prompt text。脚本的注释中已经给了明确的说明: Use BLIP Captioning for: General Images Use Waifu Diffusion 1.4 Tagger V2 for: Anime and Manga-style Images ...
然后是高级设置,可以看到我的设置,你可以和我的设置一样,因为Stable Diffusion 1.5模型是在CLIP SKIP1基础上训练的,所以将其数值保持为1,对于动漫模型或其他V3版本,将clip skip设置为2。 我还启用了洗牌描述(shuffle caption),如果你发现LoRA训练有些颜色问题,你可以启用颜色增强(color augmentation)功能,但它随后会...
实际上,Stable Diffusion是一种名为 "latent diffusion model"(潜在扩散模型)的AI模型,也就是说,它是一个机器学习模型,而不是一款我们通常理解的可以直接运行的软件。要运行 Stable Diffusion 模型,你需要一个适合的平台或者环境。现在最主流的方式是使用一个名为 Stable Diffusion Webui 的平台,这是一位在 GitHub...
然后是高级设置,可以看到我的设置,你可以和我的设置一样,因为Stable Diffusion 1.5模型是在CLIP SKIP1基础上训练的,所以将其数值保持为1,对于动漫模型或其他V3版本,将clip skip设置为2。 我还启用了洗牌描述(shuffle caption),如果你发现LoRA训练有些颜色问题,你可以启用颜色增强(color augmentation)功能,但它随后会...
kohya_ss 启动后,依次进入“LoRA”->“Training”。 Source Model 设置训练使用的 Stable Diffusion 大模型,“Model Quic Pick”这里可以选择一些 SD 的基础大模型,训练的时候会先去 HuggingFace 下载,不过我实际测试跑不同,所以这里选择 custom,然后自己上传一个模型,因为训练图片是真实世界的狗子,所以这里使用了re...
作者:corey 随着 stable-diffusion 的开源,让更多人有机会直接参与到 AI 绘画的创作中,相关的教程也如雨后春笋般的出现。可是目前我看到的教程同质性较高,通常只能称作为"使用流程讲解",但是通常没有对其原理和逻辑进行深入说明。所以本文的目的,是用尽可能少的废话
打开Stable Diffusion界面,点击训练→建立嵌入,填入这个模型的名称、初始化文字(调用模型时用的词语),每个标记的向量数(6-10之间都可以) 然后点击:建立嵌入。创建了一个.pt格式的文件。 然后点击:图像预处理,这一步主要是给图片打标签, 填入来源目录(就是第一步已经处理好的图片,保存到谷歌drive里面),如果在谷歌...