渐进蒸馏和v-prediction TL;DR:比较早期的用蒸馏的思想来做扩散模型采样加速的方法,通过渐进地对预训练的扩散模型进行蒸馏,学生模型一步学习教师模型两步的去噪结果,不断降低采样步数。并提出一种新的参数化形式v-prediction 来解决渐进蒸馏过程中信噪比太低时误差影响较大的问题。 渐进蒸馏 在一开始,我们有一个预训...
v代表velocity(速度),也就是说扩散模型输出的是预测的速度,v-prediction来源于论文《PROGRESSIVE DISTILLATION FOR FAST SAMPLING OF DIFFUSION MODELS》,这篇论文内容很多,跟v-prediction相关的内容主要是第四节的这句结论和它说的附录D: image.png 现在diffusers已经集成了v-prediction,上面第一个等式用在了Scheduler类...