这里主要从diffusion模型优化角度,不包括super-resolution等pipeline级别优化 Improved DDPM从提升log-likelihood角度进行了一些优化,一般提升log-likelihood对提升图片质量和多样性都有提升,这在LDM中也有提到。 使用Lhybrid 学习方差 Σθ(t) 观察发现最初几步step对NLL贡献很大,且不同的方差主要在前几步差异大。根据...
适用于各种需要快速且准确地提高图像分辨率的应用场景,如实时视频处理、移动设备图像处理等。 ESRGAN:全称Enhanced Super-Resolution Generative Adversarial Networks (增强超分生成对抗网络),基于深度学习的超分辨率算法。增加了很多看上去很真实的纹理,但是有时可能会过度拟合,出现不好的效果。 4x-UltraSharp:基于ESRGAN做...
当今超分辨领域的模型普遍存在过度平滑(难以保持放大后图像的锐利和纹理,导致高频信息丢失和视觉上变得平滑)和伪影(生成的高分辨率图像中可能出现的不希望出现的失真或瑕疵,包括模糊、马赛克效应或者不自然纹理等)的现象,作者据此提出了IDM模型,IDM模型是在一个统一的端到端框架中集成了隐式神经表示和去噪扩散模型,其中...
[CVPR 2023] Guided Depth Super-Resolution by Deep Anisotropic Diffusion - prs-eth/Diffusion-Super-Resolution
1、HSR-Diff: Hyperspectral Image Super-Resolution via Conditional Diffusion Models 尽管高光谱图像(hyperspectral image,HSIs)在执行各种计算机视觉任务中的重要性已被证明,但由于在空间域中具有低分辨率(LR)属性,其潜力受到不利影响,这是由多种物理因素引起的。
这个小尺寸图像随后被传递到一个 super-resolution model 中,这个模型将图像的分辨率提高。该模型同样将 text encoding 作为输入,这帮助模型决定在增加我们图像大小四倍时,如何填补由此产生的信息缺失。最终结果是我们所期望的中等大小的图像。 最后,这个中等大小的图像再被传递到另一个 super-resolution model 中,这个...
2、Diffusion-based Blind Text Image Super-Resolution 恢复退化的低分辨率文本图像是一项具有挑战性的任务,特别是在现实复杂情况下处理带有复杂笔画和严重退化的中文文本图像。保证文本的保真度和真实性风格对于高质量的文本图像超分辨率非常重要。最近,扩散模型在自然图像合成和恢复方面取得成功,因为它们具有强大的数据分布...
2、Diffusion-based Blind Text Image Super-Resolution 恢复退化的低分辨率文本图像是一项具有挑战性的任务,特别是在现实复杂情况下处理带有复杂笔画和严重退化的中文文本图像。保证文本的保真度和真实性风格对于高质量的文本图像超分辨率非常重要。最近,扩散模型在自然图像合成和恢复方面取得成功,因为它们具有强大的数据分布...
3、ESRGAN:Enhanced Super-Resolution Generative Adversarial Networks (增强超分生成对抗网络) 是对SRGAN关键部分网络结构、对抗损失、感知损失的增强。从这里开始就不是单纯的图像算法,进入人工智能的领域了。实测确实增加了很多看上去很真实的纹理,但是有时又会把一张图片弄得全是锯齿或怪异的纹理。可能对待处理的图片...
(ii)我们在多个任务(无条件图像合成、修复、随机超分辨率stochastic super-resolution)和数据集上实现了具有竞争力的性能,同时显著降低了计算成本。与基于像素的扩散方法相比,我们还显著降低了推理成本。 (iii)我们表明,与之前同时学习编码器/解码器架构和基于分数的先验知识的工作[93]相比,我们的方法不需要对重建和生成...