代码:github.com/sail-sg/Scal 太长不看: 本文提出了扩散模型中UNet的long skip connection的scaling操作可以有助于模型稳定训练的分析。同时,该分析还可以解释扩散模型中常用但未知原理的 1/2 scaling 操作能加速训练的现象。另外一些最近的后续工作,比如FreeU,SCEdit等工作也揭示了skip connection上scaling的重要性...
代码:https://github.com/sail-sg/ScaleLong 研究人员发现上述这些问题,可以在Long skip connection上进行Scaling来进行统一地缓解。 从定理3.1来看,中间层特征的震荡范围(上下界的宽度)正相关于scaling系数的平方和。适当的scaling系数有助于缓解特征不稳定。 不过需要注意的是,如果直接让scaling系数设置为0,确实最佳地...