目前Stable Diffusion XL全参微调的训练成本是Stable Diffusion之前系列的2-3倍左右,而基于Stable Diffusion XL训练LoRA的成本与之前的系列相比并没有太多增加,故训练LoRA依旧是持续繁荣SDXL生态的高效选择。 在本节,Rocky将告诉大家从0到1使用SDXL模型训练对应的LoRA的全流程攻略,让我们一起来训练属于自己的SDXL LoRA...
File "/home/bowen/zhang3/LDM/lora-scripts/sd-scripts/venv/lib/python3.9/site-packages/torch/amp/autocast_mode.py", line 14, in decorate_autocast return func(*args, **kwargs) File "/home/bowen/zhang3/LDM/lora-scripts/sd-scripts/library/sdxl_original_unet.py", line 1080, in forward ...
For v1, we chose as starting point the settings that worked best for us when training the Huggy LoRA - it was evidently overfit, so we tried to resolve that in the next versions by tweaking --max_train_steps, --repeats, --train_batch_size and --snr_gamma. More specific...
具体建议设置如下: 一、LoRA type:8Gvram用standard,12Gvram以上的可选用LyCORIS/LoHa; 二、Train batch size:8、12、16、24Gvram依次推荐使用1,6,6,8; 三、Cache latents和Cache latents to dise这两个选项都建议☑️;(图见二) 四、Max resolution:8Gvram 512x512,12Gvram 768x768,16Gvram以及24Gvram...
Stable-Diffusion来到XL时代,如果屏幕前的你正在或正想使用kohya-ss、秋叶、赛博炼丹炉来进行XL的LoRA模型训练,那么,以下几点针对8G、12G、16G、24G显存的建议参数不可错过。具体建议设置如下: 一、LoRA type:8Gvram用standard,12Gvram以上的可选用LyCORIS/LoHa; ...
SDXL Lora 参考github.com/bmaltais/koh 的训练配置,仅训练 UNET 对应 LORA 的话参考以下 kohya 的训练代码: export TF_ENABLE_ONEDNN_OPTS=0 accelerate launch --num_cpu_threads_per_process=2 "/workspace/kohya_ss/sdxl_train_network.py" \ --enable_bucket \ --pretrained_model_name_or_path="...
目前我们对SDXL的训练流程与所需资源有了初步的了解,接下来,就让我们跟随着Rocky的脚步,从0到1使用SDXL模型和训练资源一起训练自己的SDXL LoRA绘画模型吧! 【二】配置训练环境与训练文件 首先,我们需要下载两个训练资源,只需在命令行输入下面的代码即可: ...
max_train_steps="5100" --save_every_n_epochs="1" --mixed_precision="bf16" --save_precision="bf16" --cache_latents --cache_latents_to_disk --optimizer_type="Adafactor" --optimizer_args scale_parameter=False relative_step=False warmup_init=False --max_data_loader_n_workers="0" --...
_size=1gradient_checkpointing=falsenetwork_train_unet_only=truenetwork_train_text_encoder_only=falselearning_rate=1e-5unet_lr=1e-5text_encoder_lr=1e-6lr_scheduler="cosine_with_restarts"lr_warmup_steps=0lr_scheduler_num_cycles=1optimizer_type="AdaFactor"network_module="networks.lora"network_...
sdxl跟sd1.5之前比的优点: 1-分辨率更大更高清 2-文本控制更精确,因为用了两个clip层。名人和游戏角色可以通过名字直接出图。 精度:fp32>bf16>fp16 新优化器:pageAdamW8bit, PagedLion8bit, Adan, Tiger减少显存使用 训练sdxl比较推荐pageAdamW8bit和adaFactor...