宋飏大佬的博客从 Score based Model 和 Langivan Dynamic 等理论入手,逐步介绍到了 Diffusion SDE 模型。不同于宋飏博士的原博客,本文主要先记录了 SDE 模型。在了解 SDE 的操作流程后,再继续深入,记录其中的 Langivan Dynamic,score-function 等相关原理。 往期回顾: Kevin吴嘉文:DIFFUSION系列笔记|DDIM 数学、思...
想利用SDE描述diffusion,就是分别描述正向和逆向过程。因为sde具有随机性,因此正向和逆向是需要分别考虑的。 后面两节主要参考:https://zhuanlan.zhihu.com/p/551139290 1 SDE描述正向过程 那么diffusion过程,其实就是从pdata到Gaussian的过程,这个过程通过加噪声实现。我们建立一个随机过程xt,其中t是连续时间步骤而不是...
DIFFUSION系列笔记| 动手学 SDE(上) 在扩散模型探索:DDIM 笔记与思考 及扩散模型探索:DDPM 笔记与思考 中,笔者介绍了扩散模型系列的 DDPM 以及 DDIM。在这两篇文章中,我们发现扩散模型的 pipeline 大致可分为 forward process 和 backward process 两个部分。但 DDPM 以及 DDIM 中的数学模型令人费解,我们知道通过...
扩散模型通过定义一个不断加噪声的前向过程来将图片逐步变为高斯噪声,再通过定义了一个逆向过程将高斯噪声逐步去噪变为清晰图片以得到采样: 在采样过程中,根据是否添加额外的噪声,可以将扩散模型分为两类:一类是扩散随机微分方程模型(Diffusion SDE),另一类是扩散常微分方程(Diffusion ODE)。两种模型的训练目标函数都...
模型：MajicMix_nwsjLora：1个外挂VAE模型：无采样方法：DPM++ 2M SDE Karras迭代步数：30原生分辨率：512×512输出分辨率：1280×1280ControlNet：Control_v11f1e_sd15_tile_fp16控制模式：均衡缩放模式：仅调整大小 正向提示词：(fluorescent colors:1.4),(translucent:1.4),(retro filters:1.4), (fantasy:1...
在Diffusion模型中，时间与空间的系数成为分段函数，前向传播通过SDE如 的形式呈现。通过积分和微分，我们可以捕捉到加噪过程在连续时间中的运动轨迹。DDPM中的SDE（4.1）虽略有调整，但求解依然具有挑战性。逆向SDE则通过论文[2]给出，如 和 ，同样需要巧妙的策略来求解。逆向SDE的采样与创新 为了实现...
1、Objectives Designing方法利用扩散SDE推倒出生成数据的对数似然与分数函数匹配的损失函数的关系。这样通过适当设计损失函数，就可以最大化 VLB 和对数似然。Song et al.证明了可以设计损失函数的权重函数，使得plug-in reverse SDE生成样本的似然函数值小于等于损失函数值，即损失函数是似然函数的上界。分数函数拟合的...
下面笔者将概括第三种看待 VDM 的推导方式。这种方式主要来自于 SongYang 博士的系列论文,非常直观。并且该系列论文将扩散模型这种离散的多步去噪过程统一成了一个连续的随机微分方程(SDE)的特殊形式。SongYang 博士因此获得了 ICLR 2021 的最佳论文奖! 后续来自...
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7.5, Size: 512x768 3. 设置 ControlNet,定制专属公仔形象 在这个实例中,我们要把一个平面卡通形象制作成一个 3D 公仔形象,因此需要通过 ControlNet 的 lineart 和 depth 模型,构建公仔轮廓,再叠加盲盒模型定制出专属公仔形象。ControlNet 教程可查看: ...
大家在使用新模型时,可以多尝试不同的采样器和采样步骤找到最适合的采样器和采样步骤,选择采样器要从出图时间、采样器对关键词理解、最终成图效果等维度考量,目前推荐给大家的采样器Euler a、DPM++ 2S a Karras、DPM++ 2M Karras、DPM++ SDE Karras从目前小编使用过程中表现都比较好。