Stable-Diffusion来到XL时代,如果屏幕前的你正在或正想使用kohya-ss、秋叶、赛博炼丹炉来进行XL的LoRA模型训练,那么,以下几点针对8G、12G、16G、24G显存的建议参数不可错过。具体建议设置如下: 一、LoRA type:8Gvram用standard,12Gvram以上的可选用LyCORIS/LoHa; 二、Train batch size:8、12、16、24Gvram依次推荐使...
大家可以在SDXL-Trian项目中train_config/XL_LoRA_config路径下找到SDXL LoRA的训练参数配置文件config_file.toml和sample_prompt.toml,他们分别存储着SDXL_LoRA的训练超参数与训练中的验证prompt信息。 其中config_file.toml文件中的配置文件包含了sdxl_arguments,model_arguments,dataset_arguments,training_arguments,log...
除此以外具体选多少Network Dim还和你训练对象的难易程度有非常大的关系(笑),因为过去的一年里我看过很多很多明星脸LoRA以及Textual Inversion,我的观察就是,某些明星的脸很特别(比如Timothee Chalamet那种大腮帮子,或者是Ryan Gosling那种八字眉,或者是Benedict Cumberbatch那种马脸(笑死)),那么他们的模型也更容易训练...
02/29/2024 23:42:54 - INFO - __main__ - Instantaneous batch size per device = 1 02/29/2024 23:42:54 - INFO - __main__ - Total train batch size (w. parallel, distributed & accumulation) = 4 02/29/2024 23:42:54 - INFO - __main__ - Gradient Accumulation steps = 4 02/2...
以及大部分时候需要开启梯度检查点,否则即便24g的显存也无法以1024x1024 batchSize 2来训练。 另外一个,就是,仅训练unet是一个可考虑的选项。尤其是你不确定结果会如何。开启仅训练unet有时效果比不开还要好。或许是因为text encoder部分更容易发生过拟合。
命令行操作:改进版lora-scripts支持通过命令行方式进行模型的训练,无需编写复杂的脚本或依赖特定的集成开发环境(IDE)。用户只需在命令行中输入相应的命令和参数,即可轻松完成模型的训练。 SDXL支持:改进版lora-scripts支持SDXL格式的数据输入。SDXL是一种简洁、易读的数据交换格式,广泛应用于自然语言处理任务。通过支持...
logging_dir = "c:\lora\llog" output_name = "libsp" train_batch_size=1 network_dim =16 network_alpha =8 max_train_steps = 1620 save_every_n_steps = 162 sample_every_n_steps = 162 optimizer_type = "adafactor" optimizer_args=["scale_parameter=False","relative_step=False","warmup_...
LoRA进行SDXL 0.9 Dreambooth微调需要0.19.0.dev0及以上版本的diffusers 还有一些其他的依赖包: pip install invisible_watermark transformers accelerate safetensors 然后就是进行配置,在终端上执行如下命令配置accelerate: accelerate config 使用以下设置在单个GPU上进行混合精度的训练: ...
LoRA进行SDXL 0.9 Dreambooth微调需要0.19.0.dev0及以上版本的diffusers 还有一些其他的依赖包: pip install invisible_watermark transformers accelerate safetensors 然后就是进行配置,在终端上执行如下命令配置accelerate: accelerate config 使用以下设置在单个GPU上进行混合精度的训练: ...
LoRA进行SDXL 0.9 Dreambooth微调需要0.19.0.dev0及以上版本的diffusers 还有一些其他的依赖包: pip install invisible_watermark transformers accelerate safetensors 然后就是进行配置,在终端上执行如下命令配置accelerate: accelerate config 使用以下设置在单个GPU上进行混合精度的训练: ...