正所谓“饭要一口一口地吃”,楼也要一步一步地建,DDPM做生成模型的过程,其实跟上述“拆楼-建楼”的类比是完全一致的,它也是先反过来构建一个从数据样本渐变到随机噪声的过程,然后再考虑其逆变换,通过反复执行逆变换来完成数据样本的生成,所以本文前面才说DDPM这种做法其实应该更准确地称为“渐变模型”而不是“...
正所谓“饭要一口一口地吃”,楼也要一步一步地建,DDPM做生成模型的过程,其实跟上述“拆楼-建楼”的类比是完全一致的,它也是先反过来构建一个从数据样本渐变到随机噪声的过程,然后再考虑其逆变换,通过反复执行逆变换来完成数据样本的生成,所以本文前面才说DDPM这种做法其实应该更准确地称为“渐变模型”而不是“...
在文章《生成扩散模型漫谈(一):DDPM = 拆楼 + 建楼》中,我们为生成扩散模型DDPM构建了“拆楼-建楼”的通俗类比,并且借助该类比完整地推导了生成扩散模型DDPM的理论形式。在该文章中,我们还指出DDPM本质上已经不是传统的扩散模型了,它更多的是一个变分自编码器VAE,实际上DDPM的原论文中也是将它按照VAE的思路进行...
在文章 《生成扩散模型漫谈:DDPM = 拆楼 + 建楼》 中,我们为生成扩散模型 DDPM 构建了“拆楼-建楼”的通俗类比,并且借助该类比完整地推导了生成扩散模型 DDPM 的理论形式。在该文章中,我们还指出 DDPM 本质上已经不是传统的扩散模型了,它更多的是一个变分自编码器 VAE,实际上 DDPM 的原论文中也是将它按照 ...
到目前为止,笔者给出了生成扩散模型 DDPM 的两种推导,分别是《生成扩散模型漫谈:DDPM = 拆楼 + 建楼》中的通俗类比方案和《生成扩散模型漫谈:DDPM = 自回归式 VAE》中的变分自编码器方案。两种方案可谓各有特点,前者更为直白易懂,但无法做更多的理论延伸和...
到目前为止,笔者给出了生成扩散模型 DDPM 的两种推导,分别是 《生成扩散模型漫谈:DDPM = 拆楼 + 建楼》 中的通俗类比方案和 《生成扩散模型漫谈:DDPM = 自回归式 VAE》 中的变分自编码器方案。两种方案可谓各有特点,前者更为直白易懂,但无法做更多的理论延伸和定量理解,后者理论分析上更加完备一些,但稍显形式...
在文章《生成扩散模型漫谈(一):DDPM = 拆楼 + 建楼》中,我们为生成扩散模型DDPM构建了“拆楼-建楼”的通俗类比,并且借助该类比完整地推导了生成扩散模型DDPM的理论形式。在该文章中,我们还指出DDPM本质上已经不是传统的扩散模型了,它更多的是一个变分自编码器VAE,实际上DDPM的原论文中也是将它按照VAE的思路进行...
。用《生成扩散模型漫谈:DDPM = 拆楼 + 建楼》中的“拆楼-建楼”类比来说,就是我们知道楼会被拆成什么样【 、 】,但是不知道每一步怎么拆【 】,然后希望能够从中学会每一步怎么建【 】。当然,如果我们想看看每一步怎么拆的话,也可以反过来用贝叶斯公式:...
我们来大致总结一下上一篇文章的内容:首先,我们通过 SDE 来定义了一个前向过程(“拆楼”): 然后,我们推导了相应的逆向过程的 SDE(“建楼”): 最后,我们推导了用神经网络来估计的损失函数(得分匹配): 至此,我们完成了扩散模型的训练、预测的一般框架,可以说,它是DDPM的非常一般化的推广了。但正如《 生成扩散...
回顾DDIM，在《生成扩散模型漫谈（四）：DDIM = 高观点DDPM》的最后，我们推导了DDIM的连续版本对应于ODE。接下来，我们可以看到，该结果其实就是本文的式(14)在取线性函数时的特例。在《生成扩散模型漫谈（五）：一般框架之SDE篇》的末尾，我们推导过对应的关系。将这些关系代入到式(14)后，整理得到...