一、研究领域 video generation 二、研究动机 遵循 stable diffusion 的范式训练高分辨率的视频合成模型。...
有个传闻,当初stable diffusion1.4是stability和runway一起开源的,在发布1.5版本的时候stability抢先了,然后双方开始互相争夺开发者名号。runway现在已经有先进的text to video和image to video技术,而stability之前推出了一个text to anime video的技术,但是效果还不如用了controlnet的sd模型生成的视频,runway的gen2每次更...
Free Stable Video Diffusion , Online SVD , Stable Video Free Generation, Image to Video, stable-video-diffusion.com
一系列探索扩散模型扩散形式的探索,Bit-Diffusion、Variational-Diffusion、Cold-Diffusion、Soft-Diffusion、Non-uniform Diffusion、Retrieval-Augmented Diffusion。 快速采样的进一步发展:DPM-Solver、DFNO等。 更多的应用:做3D生成的DreamFusion(荣获ICLR 2023 Best Paper),做视频生成的Video Diffusion,做图像重建的DDRM等。
Free Stable Video Diffusion , Online SVD , Stable Video Free Generation, Image to Video, stable-video-diffusion.com
11月出了stable video diffusion（stable diffusion同家公司）， MoVideo（能生成深度图和光流）。一个小...
于2021年7月发布的Insertion and Deletion Diffusion提出了一种非常有趣的加噪方法,但尽管创新,却似乎未在学术界引起太大的震动。 于2021年8月发布的ImageBART将离散扩散模型应用于大规模图像生成,然而遗憾的是,它仍然采用自回归模型的方式。 这些离散型扩散模型的探索为图像生成领域带来了新的思路与方法,虽然在某些...
于2021年7月发布的Insertion and Deletion Diffusion提出了一种非常有趣的加噪方法,但尽管创新,却似乎未在学术界引起太大的震动。 于2021年8月发布的ImageBART将离散扩散模型应用于大规模图像生成,然而遗憾的是,它仍然采用自回归模型的方式。 这些离散型扩散模型的探索为图像生成领域带来了新的思路与方法,虽然在某些...
Image cropped from the paper, “High-resolution video synthesis with latent diffusion models.” The paper titled “High-resolution video synthesis with latent diffusion models” introduces temporal layers to process videos for video generation. It introduces 3D convolution and temporal attention layers...
文本生成领域的探索:Diffusion-LM、Diffusion-Seq、DDCap、UniD3。 3D生成上的进一步探索:Render3D、Magic3D、Point-E、MeshDiffusion。 视频生成的进一步探索:Latent Video Diffusion、Video Fusion 医学图像上的探索:MedSegDiff。 图像编辑上的探索: 1)Text-driven(文本驱动):Prompt-to-prompt、Imagic、InstructPix2Pix...