[基本] 必选训练参数 为了更详细地单独解释所有参数,请参阅https://rentry.co/59xed3(很好的 Lora 文档)或https://github.com/bmaltais/kohya_ss/wiki/LoRA-training-parameters。由于这两位作者已经撰写了优秀的文档,我将仅提供“推荐”值,并让您尝试“开箱即用”的训练参数。除非有用,否则所有“可选”参...
通过AutoDL 的自定义服务启动页面后,依次点击“LoRA”->“Training”。 在“Configuration file”这里输入我提前预置好的训练配置文件地址:/root/autodl-tmp/train/dudu/config.json ; 然后点击“Load”加载训练参数; 最后点击“Start training”开始训练。 训练的进度需要去 JupterLab 中查看,大约需要8分钟,当看到 s...
Unet learning rate（Unet扩散模型学习率），设置此参数时则覆盖Learning rate（学习率）参数。默认值为0.0001，也可以写为1e-4。Text Encoder learning rate（文本编码器学习率），一般为Unet learning rate的十分之一或者一半，比如设置为5e-5（1e-4的一半则为5e-5，十分之一则为1e-5）。LR Scheduler（学...
我们再回到学习率设置页面,把优化器改为AdamW8bit,把求得的最优学习率(这里以求得的3.3e-5为例)填入Unet learning rate处,其他值和设置根据上面的规则依次填入,如图所示。这样,一个合理的数值便设置好了。 注意:如果使用Lion优化器,则学习率要改为DAdaptation优化器找到的最优学习率的三分之一。 “Training pa...
1.首先在脚本的LoraTraining目录下新建训练文件夹命名为train 2.如果需要训练多个概念(例如:角色除了本体之外,还要加一个穿着泳装训练素材), 这时候就在(input_角色名称)下面再新建一个文件夹,命名写(训练次数_角色名称_泳装)进行文件夹区分。 a.训练文件夹建立步骤: ...
kohya_ss 启动后,依次进入“LoRA”->“Training”。 Source Model 设置训练使用的 Stable Diffusion 大模型,“Model Quic Pick”这里可以选择一些 SD 的基础大模型,训练的时候会先去 HuggingFace 下载,不过我实际测试跑不同,所以这里选择 custom,然后自己上传一个模型,因为训练图片是真实世界的狗子,所以这里使用了re...
kohya_ss 启动后,依次进入“LoRA”->“Training”。 Source Model 设置训练使用的 Stable Diffusion 大模型,“Model Quic Pick”这里可以选择一些 SD 的基础大模型,训练的时候会先去 HuggingFace 下载,不过我实际测试跑不同,所以这里选择 custom,然后自己上传一个模型,因为训练图片是真实世界的狗子,所以这里使用了re...
主要使用derrian-distro/LoRA_Easy_Training_Scripts: A set of two training scripts written in python for use in Kohya's SD-Scripts repository. (github.com)这个仓库学习. 下载安装即可,Windows平台下载installer.py文件,作者推荐使用3.10.6,当然3.10版本应该都能跑. ...
--train_batch_size = 1, 2,3, 4-repeats = 1,2-learning_rate = 1.0 (Prodigy), 1e-4 (AdamW)-text_encoder_lr = 1.0 (Prodigy), 3e-4, 5e-5 (AdamW)-snr_gamma = None, 5.0-max_train_steps = 1000, 1500, 1800-text_encoder_training = regular finetuning, pivotal tuning (textual...
stop_text_encoder_training=0 # stop text encoder training | 在第N步时停止训练文本编码器 noise_offset="0" # noise offset | 在训练中添加噪声偏移来改良生成非常暗或者非常亮的图像,如果启用,推荐参数为0.1 keep_tokens=0 # keep heading N tokens when shuffling caption tokens | 在随机打乱 tokens 时...