用OpenAI的一篇论文内容来讲,用diffusion生成的图像质量明显优于GAN模型;而且与GAN不同,diffusion不用在鞍点问题上纠结——涉及稳定性问题,只需要去最小化一个标准的凸交叉熵损失即可,这样就大大简化了模型训练过程中,数据处理的难度。总结来说,目前的训练技术让diffusion直接跨越了GAN领域调模型的阶段,而是直接可以...
马斯克根本没搞清楚diffusion和transformer的概念。事实上这两个根本就不是同一个层面的概念。diffusion模型是把噪声分布映射到某个特定分布的过程,基于这个过程的模型为diffusion模型,其和GAN、VAE、flow-based model等才是同一层面的概念。transformer是基于attention的模型,跟基于卷积的CNN是同一层面的概念。