假设训练30张图片,每张训练50次,batch size为2,epoch为10,则总共训练次数为30*50*10/2=7500次,我们需要反复调整参数使得模型不会欠拟合或过拟合 Network Rank(Dimension) 指生成器和判别器的网络结构大小和复杂度 通常越高越能学习到复杂的特征,可以生成更复杂多样的图片,但会导致训练时间更长并且对显存要求更高...
Save every N epochs，写1则每训练一轮便保存一次LoRA模型，比如：如果前面Epoch设置5轮，这里写1，则最后训练完成可以得到5个LoRA模型。Network Rank（Dimension）维度，代表模型的大小。数值越大模型越精细，常用4~128，如果设置为128，则最终LoRA模型大小为144M。一般现在主流的LoRA模型都是144M，所以根据模型大小...
Learning Rate (LR)——仅在不使用 DAdaptation 或 Prodigy 等动态优化器的情况下适用 —— 即模型训练的速度,详见下方章节 Network Dimension / Alpha:参见下方章节,简而言之,保持其在4 到 32之间(分别为1 到 16) Keep N tokens:这表示数据集中激活标签的数量。在打乱标注时,它会保留前 N 个标签(此处,“T...
在尝试了各种 Alpha 值来对应 Dadaptation 之后,似乎 Alpha 1 和 Alpha 64( Network Rank (Dimension) 为 128)。建议将 Alpha 的值保持在 Network Rank (Dimension) 的 1 到一半之间(也就是说 Rank 为 128,则 Alpha 的值设置为 1~64。如果 Rank 为 32,则 Alpha 的值设置为 1~16); Prodigy 可是被视...
8、Network Rank(dimension)(网络大小):强化训练细节,建议128-192,128以上增加提升相对不明显。 9、Network Alpha(网络alpha):建议96以上,弱化训练细节,有正则化效果,可以与dim同步增加。 10、让AI训练AI:首发训练采用Dadaption,所有学习率均设为1. 11、手动训练方法:建议用AadmW优化器,可以通过调整学习率获得很像...
Network Rank (Dimension) 模型复杂度 一般设置为64即可适应大部分场景。 Network Alpha 网络Alpha 建议可以设置较小值,Rank和Alpha设置会影响最终输出LoRA的大小。 Clip skip 文本编码器跳过层数 二次元选2,写实模型选1,动漫模型训练最初就有跳过一层,如使用训练素材也是二次元图像,再跳一层=2。 Sample every n ...
network_module:选择训练的LoRA模型结构,可以从["networks.lora", "networks.dylora", "lycoris.kohya"]中选择,最常用的LoRA结构默认选择"networks.lora"。 network_dim:设置LoRA的RANK,设置的数值越大表示表现力越强,但同时需要更多的显存和时间来训练。
所以network_dim的设置需要根据任务主题去调整。 一般来说,在SDXL的1024*1024分辨率训练基础上,可以设置network_dimension = 128,此时SDXL LoRA大小约为686MB。 【4】network_alpha对SDXL LoRA模型训练的影响 network_alpha是一个缩放因子,用于缩放模型的训练权重 。network_alpha设置的越高,LoRA模型能够学习更多的细...
训练235张512X512分辨率的照片,采用3060-12GB显卡大概要1小时43分钟,其中详细的训练参数是:train batch size选1, Epoch选1,learning rate选0.0001,LR warmup (% of steps) 学习率预热选10, Network Rank (Dimension) (网络小大)选64,num_repeats训练次数为100次(见下图)。
8.网格维度Network Rank Alpha作用:搭建合适的LoRA模型基底。被称之为“网络”(Network)1.Network PankPank:可以翻译成网络的“秩”。与矩阵的“秩”是一个概念。也被称为Dimension(Dim)。Network Pank的值越高,从原始矩阵里抽出来的行列就越多。要微调得到的的数据量也就越多。进而能够容纳更复杂的概念。它...