Upscale-A-Video使用一个文本引导的潜在扩散框架来进行视频增强。它通过两个关键机制来确保时间连贯性: 局部处理: 通过集成时间层的U-Net和VAE-Decoder来保持视频片段内的一致性。 全局处理: 通过流引导的循环潜在传播模块,在整个视频序列中传播和融合潜在信息,增强整体稳定性。
Upscale-A-Video: 实时视频超分辨率的时间一致扩散模型 来源:arxiv作者:Shangchen Zhou 等论文题目:HUpscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution论文链接:https://arxiv.org/pdf/2312.06640.pdf项目主页:https://shangchenzhou.com/projects/upscale-a-video内容整理:...
合成视频:在合成低质量视频的比较中,Upscale-A-Video能够恢复更准确的结构和细节,如墙壁的纹理和考拉的毛发。 真实世界视频:在真实世界视频的比较中,Upscale-A-Video能够有效地利用扩散模型的优势,恢复如广告牌上的文字等细节。 AIGC视频:在AIGC视频的比较中,Upscale-A-Video在文本提示的指导下,展示了增强的结果,...
Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution Shangchen Zhou∗ Peiqing Yang∗ Jianyi Wang Yihang Luo Chen Change Loy S-Lab, Nanyang Technological University https://shangchenzhou.com/projects/upscale-a-...
AIGC Video Real-World Video Upscale-A-Videois a diffusion-based model that upscales videos by taking the low-resolution video and text prompts as inputs. Abstract Text-based diffusion models have exhibited remarkable success in generation and editing, showing great promise for enhancing visual conte...
我们先来看几个具体例子,例如,借助 Upscale-A-Video,「花果山名场面」有了高清画质版: 相比于 StableSR,Upscale-A-Video 让视频中的松鼠毛发纹理清晰可见: 方法简介 一些研究通过引入时间一致性策略来调整图像扩散模型以适应视频任务,其中包括:1)使用时间层微调视频模型,例如 3D 卷积和时间注意力;2)在预训练模型...
Upscale-A-Video 模型可以利用文本 prompt 作为可选条件来指导模型产生更真实、更高质量的细节,如图 1 所示。 Upscale-A-Video 将视频划分为多个片段,并使用具有时间层的 U-Net 对其进行处理,以实现片段内的一致性。在用户指定的全局细化扩散期间,使用循环潜在传播模块来增强片段间的一致性。最后,经过微调的 VAE ...
Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution Shangchen Zhou∗ Peiqing Yang∗ Jianyi Wang Yihang Luo Chen Change Loy S-Lab, Nanyang Technological University CVPR 2024 (Highlight) Upscale-A-Video is a diffusion-based model that upscales videos...
由南洋理工大学 S-Lab 实验室开发的 Upscale-A-Video 工具，旨在提升低分辨率视频的清晰度和细节。此工具的独特之处在于，用户可以通过文本提示修改视频内容，如提升特定物体的细节或改善整体视觉效果，甚至生成或修改视频内容、风格、细节等。该工具的核心能力包括提升视频质量、确保时间一致性以及通过文本...
开源地址：https://github.com/sczhou/Upscale-A-Video 项目地址：https://shangchenzhou.com/projects/upscale-a-video/ Upscale-A-Video主要借鉴了图像模型中的扩散方法,设计了一种无需大规模训练即可快速迁移的框架。该框架融合了局部和全局两种策略来维持时间的一致性。局部层,模型通过 3D 卷积和时序注意力层...