(2)LORA断点模型选择:这个就是如果发现训练出的模型没训练够,可选择上次的lora模型继续训练,如果没有这个需求,这个自然就不用选择了。 (3)网络维度参数:network_dim参数越大,拟合效果越好,这个自己测试,可以鼠标悬停到旁边的问号有解释。 4、训练基本参数 (1)batch size:默认为1,显存大的可以设置大一些,训练速度...
network_dim/network_alpha: network_dim指定LoRA模型的秩,alpha小于dim值,一般设置为dim的一半。network_dim决定了LoRA模型的大小,144MB的LoRA模型对应network_dim=128. network_module: 指定训练LoRA模型 max_train_epochs: 指定最大训练轮数 save_every_n_epochs: 间隔n轮保存一次模型 save_last_n_epochs: 保存...
如最大训练 epoch 为 10,那么训练过程中将会进行 10 次完整的训练集循环,一般可以设为 5-10。 network_dim:线性 dim,代表模型大小,数值越大模型越精细,常用 4~128,如果设置为 128,则 LoRA 模型大小为 144M。 network_alpha:线性 alpha,一般设置为比 Network Dim 小或者相同,通常将 network dim 设置为 128...
(假设最大训练epoch为10,即训练过程中将会进行10次完整的训练集循环。这个参数可以根据实际情况进行调整,以达到更好的模型效果) network_dim:常用 4~128,不是越大越好,这个参数如果是训练画风的话可以给高一些,训练角色物件等不需要调整。 3.学习率(learning rate) 是训练神经网络时一个很重要的超参数,控制着权重...
"stop_text_encoder_training":0,"use_8bit_adam":true,"xformers":true,"save_model_as":"safetensors","shuffle_caption":false,"save_state":false,"resume":"","prior_loss_weight":1.0,"text_encoder_lr":"5e-5","unet_lr":"0.0001","network_dim":128,"lora_network_weights":"","color...
这是我的Kohya训练设置,我将回合设置为20,学习频率改为0.0001,network rank选了160,所以回到colab,将5.2部分的network dim设置为160,学习频率设置为1e-4,其余设置如图。 随后点击播放按钮。 然后是开始LoRA Dreambooth,我选择了fb16,但我不认为Colab GPU能够处理,所以保持fp16不变。你可以将分辨率调至我在本地训...
network_module:选择训练的LoRA模型结构,可以从["networks.lora", "networks.dylora", "lycoris.kohya"]中选择,最常用的LoRA结构默认选择"networks.lora"。 network_dim:设置LoRA的RANK,设置的数值越大表示表现力越强,但同时需要更多的显存和时间来训练。
Dim:学习精度,精细度高,模型的细节更好。 调整学习率 通常调整unet学习率为1e-4,设置它之后会覆盖learning rate学习率的数值。text_encoder的学习率通常是unet的十分之一或二分之一左右。 视频里也只是针对新手初步讲了推荐数值,和现在默认数值一样。
network_alpha=128 # network alpha | 常用与 network_dim 相同的值或者采用较小的值,如 network_dim的一半 防止下溢。默认值为 1,使用较小的 alpha 需要提升学习率。 # Train related params | 训练相关参数 resolution="1088,960" # image resolution w,h. 图片分辨率,宽,高。支持非正方形,但必须是 64 ...
第一部分:本专栏所用到的插件的详细安装方式 先记一下我用到的几个插件: 1.tagger 2.webui标签处理插件 3.txt批量修改工具 安装方法及说明: 一.Waifu Diffusion 1.4 标签器(tagger) 为什么是用tagger而不是用Deepboorn? 其实我一开始也是用Deepboorn的, 后面发现Deepboorn经常打错标, 用tagger就好了很少出现打...