卡内基梅隆大学的一篇paper将预训练好的diffusion model直接当作0样本分类器,验证了将diffusion生成式模型用于判别式任务的可行性。 该模型不需要任何额外的参数和训练,只使用预训练好的diffusion模型即可进行图…
这篇文章发在ICCV 2023。 Your Diffusion Model is Secretly a Zero-Shot Classifier动机过往生成模型虽然能够对完整分布建模,但是大多情况用来生成而非判别, 直接将生成模型拿来分类很少。着眼于 zero-shot的情…
know same last another while us off might great go come since against right came take states used himself house few american use place during without high again home around small however found mrs part thought school went say once general upon war left every don't does got united number hand...
本文属于生成模型领域,讨论了最近比较火的 diffusion models,它在各种不同的任务上,尤其是 large scale 的 text-to-image (文字转图像) 任务中展现出了极佳的生成效果,而在这篇文章中,作者们对模型背后的一些机制作了一些理解。对于像 Stable Diffusion 这种类型的 diffusion models,主要的步骤有两个,其一是 sampli...
从Appendix C 看,是把 DPO reward 当 process-reward-model 用了,即可以拿来精确定位问题 token。 用于Diffusion 模型 Appendix D 中考虑了根据用户反馈联合优化 prompt 和diffusion reward function 里把 prompt refiner(负责优化 prompt)也弄进来了。后一半和DPO-Diffusion是一样的。