作者认为 diffusion model 在目前还没有被深度研究优化,于是对目前的 diffusion model 进行大量的消融优化,并借鉴 conditional GANs 来训练 conditional diffusion model,并使用分类信息来引导生成过程,大幅度提到了 diffusion model 的性能,并超越了 GANs。 2、背景 2.1 diffusion model 的发展 diffusion model 是通过一...
通过DiffusionCLIP的微调模型可以用于执行额外的新图像处理任务,如图4所示。 首先,可以分别如图4(b)和(c)所示从一个未知领域进行图像迁移到另一个未知领域。并在一个未知领域进行笔画条件下的图像合成。解决这一难题的一个关键思想是,通过插入在相对容易收集的数据集上训练的扩散模型,在两个域之间建立桥梁。具体而言...
最后是训练时的一个小trick,作者在训练时为了缓解训练数据不足的问题,在训练上述两个目标的同时,还引入了训练Stable diffusion的数据集(LAION-Aesthetics v2 5+)训练text-guided image generation任务,这个任务可以被近似的看做一个mask覆盖整个图像的edit任务。 Expression 最后是实验部分的两眼之处。首先是不同方法ed...