我们提出了Matryoshka扩散模型(MDM),这是一个用于高分辨率图像和视频合成的框架。我们提出了一种扩散过程,联合对多个分辨率的输入进行去噪,并使用了NestedUNet架构,其中小尺度输入的特征和参数嵌套在大尺度输入中。此外,MDM实现了从低分辨率到高分辨率的渐进训练计划,这导致了高分辨率生成优化的显著改进。我们在各种基准...