vae的loss函数为两项,重构损失(reconstruct loss)以及kl散度正则项(kl loss),分别对应模型训练过程希望达成的两个目的。 loss=MSE(X,X′)+KL(N(μ1,σ12),N(0,1)) reconstruct loss计算的是解码器解码得到的向量和输入向量之间的MSE loss,这一项比较好理解,就是反映出vae生成的结果和输入之间的差异,对应的...
好久没画画了,测试了一下Stable Diffusion cascade,原理就是vae latent+两次扩散。做了三幅图,提示词和base模型都一样,第一幅图是cascade出图,参数都是默认,第二个是sdxl直出,第三个是sdxl+refine(逻辑上和cascade是一个道理),我个人感觉cascade出图完胜,sdxl+refine以后虽然清晰但是太过饱和了,光影和景深也没...