Stable Diffusion的本身的是如何训练的? 基础知识 1.损失函数/代价函数 2.欠拟合和过拟合 SD模型常见的微调方法: Dream Booth: LoRA: 脚本工具 最核心的超参数: 参数参考 主要参数 主要参数(补充): 优化选项: 增强选项: 其他参数: 结尾: Stable Diffusion的本身的是如何训练的? Stable diffusion(下面简称SD)是...
目录 收起 安装插件 训练Lora 生成图片 生成视频 换装 今天给大家分享一个特别强大的Stable Diffusion插件:EasyPhoto,这个插件一直在迭代,从最开始的AI写真,然后是AI视频,到最近的AI换装,能力一直在持续增强。 这个插件的基础能力是Lora训练,只需要5-20张特定人物或者风景的照片,不需要对图片进行任何格式化和打标...
2 点开additional networks扩展栏,随便选一个lora,激活插件 使用脚本功能,选择x/y/x plot功能x轴设置为 addnet model 1,然后点击小黄笔记本,自动引入所有lora文件名;Y轴设置为 addnet weight1,然后输入0.6-1;设置xy让系统自动用不同的lora分别以0.6-1的权重跑prompt指令。 通过xyz对比图,看哪一个训练结果表现最...
LoRA 微调脚本地址: https://github.com/huggingface/diffusers/blob/main/examples/text_to_image/train_text_to_image_lora.pyLambda Labs Pokémon 数据集: https://huggingface.co/datasets/lambdalabs/pokemon-blip-captions export MODEL_NAME="runwayml/stable-diffusion-v1-5"export OUTPUT_DIR="/sddata/...
class StableDiffusionLoraArguments(TrainingArgs): prompt: str = field( default='dog', metadata={ 'help': 'The pipeline prompt.', }) training_args = StableDiffusionLoraArguments( task='text-to-image-synthesis').parse_cli() config, args = training_args.to_config() ...
简单来说训练过程中需要图像和对应的图像描述,类似于其他机器学习中的数据和标签。在stable diffusion的webui里可以找到图像预处理模块。输入到lora训练网络中的数据集应该长这样: 结果展示 2.1 裁剪 因为本文一开头搜集到的图像分辨率不一样,训练过程中最好使用同一的分辨率,这里可以通过剪裁网站批量处理人物图像。这里推...
stable-diffusion-webui集成了BLIP和Deepbooru两种打标签的反推模型,不过这里我们使用wd14模型。wd14需要在sd-webui中安装Tagger插件。反推打标签之后,可以使用dataset-tag-editor插件对标签批量增/删处理,这两个插件的github链接如下,安装步骤参照之前文章的controlnet和afterdetailter:...
--pretrained_model_name_or_path="/root/basemodel/tangbohu_v10.safetensors" # 训练的stablediffusion 大模型路径 --train_data_dir="/root/train/img" 训练集路径 --resolution=512,512 训练分辨率 就是训练集的分辨率 --output_dir="/root/autodl-tmp" 训练模型存放地址 ...
1. 前言: 目前大多数人都基于开源的stable-diffusion-WebUI来玩转Stable Diffusion及其Lora,本文从cloneofsimo/lora工程源码进行Lora Pivotal Tuning的training和test。从网上下载了一些black pink的lisa照片,…
kohya-ss的训练脚本给出了三种训练LoRA的方法: Dreambooth 无 Caption:需要正则化,学习提示词+类型。这种就属于老的DB style训练,通过文件夹名字选择单一提示词触发。 Dreambooth 带 Caption:可以使用正则化,学习Caption或者标签。这是现在默认使用的训练方法,对每张图片对应的标签单独训练。这里的常见误解是文件夹名字...