下载stable-diffusion-xl-base-1.0,官网下载地址:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main 下载vae-fp16-fix,官网下载地址:https://huggingface.co/madebyollin/sdxl-vae-fp16-fix/tree/main Step5 下载数据集 本案例使用Huggingface提供的naruto-blip-captions数据集,官网下载地...
下载stable-diffusion-xl-base-1.0,官网下载地址:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main 下载vae-fp16-fix,官网下载地址:https://huggingface.co/madebyollin/sdxl-vae-fp16-fix/tree/main Step5 下载数据集 本案例使用Huggingface提供的pokemon-blip-captions数据集,官网下载...
diffusion_pytorch_model.safetensors 就是改名后的 sdxl-vae-fp16-fix.safetensorsconfig.json和它放在一起。节点要用那个奇葩的Diffusers Vae Loader奇葩在哪?不能下拉选择。另外这套工作流我原先尝试过,但是我的显存是12G的,玩不了。目测至少需要16G显存。CPU貌似玩不了,因为是半精度,CPU需要全精度才能跑。
stable-diffusion-webui/models/VAE madebyollin-sdxl-vae-fp16-fix.safetensors SDXL VAE权重,支持 fp16,可以让推理更快。 https://pai-aigc-photog.oss-cn-hangzhou.aliyuncs.com/webui/madebyollin-sdxl-vae-fp16-fix.safetensors stable-diffusion-webui/models/VAE madebyollin_sdxl_vae_fp16_fix/...
python -u train_text_to_image_lora_sdxl.py \ --pretrained_model_name_or_path="stabilityai/stable-diffusion-xl-base-1.0" \ --pretrained_vae_model_name_or_path="madebyollin/sdxl-vae-fp16-fix" \ --train_data_dir="/home/aistudio/dataset" \ --caption_column="text" \ --resolution=...
VAE 采用的是 C站的 models/296576/sdxl-vae 或 huggingface 的 madebyollin/sdxl-vae-fp16-fix/tree/main 后。按照https://fcnk27d6mpa5.feishu.cn/wiki/S8Z4wy7fSiePNRksiBXcyrUenOh 官方手册的Demo 输入提示词后,生成的图直接炸裂。求问各位大佬,是我哪里配置错了吗?
"madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16 ) pipe = StableDiffusionXLAdapterPipeline.from_pretrained( model_id, vae=vae, adapter=adapter, scheduler=euler_a, torch_dtype=torch.float16, variant="fp16", ).to("cuda") ...
sd_xl_base_1.0_0.9vae.safetensors sd_xl_offset_example-lora_1.0.safetensors SDXL-Turbo sd_xl_turbo_1.0.safetensors sd_xl_turbo_1.0_fp16.safetensors Stable Zero123 stable_zero123.ckpt stable_zero123_c.ckpt TripoSR TripoSR-model.ckpt ...
如果大家想要FP16精度进行推理,可以使用sdxl-vae-fp16-fix版本的SDXL VAE模型,其对FP16出现的NANs的情况进行了修复。 在官网如果遇到网络问题或者下载速度很慢的问题,可以关注Rocky的公众号WeThinkIn,后台回复:SDXL模型,即可获得Stable Diffusion XL VAE模型权重(包含原生SDXL VAE与FP16修复版本)资源链接。
原来是SDXL 1.0 的 vea 由于数字水印的问题生成的图像会有彩色条纹的伪影存在,可以使用 0.9 的 vae 文件解决这个问题,青龙做了一个修复的模型和 vae 整合版本: huggingface.co/bdsqlsz/ 可以看到现在有两个fixvae可以选择了,可以尝试下~ -END- 欢迎大家关注我的公众号:月起星九 日更写作,AIGC探索,深究SD...