中山大学等研究人员针对扩散模型训练过程中的稳定性问题，提出了一种名为ScaleLong的新方法。该方法通过在UNet的long skip connection上进行scaling操作，有效缓解了特征不稳定性，增强了模型对输入扰动的鲁棒性。研究人员提出了两种具体的scaling系数调整方法：Learnable Scaling (LS) Method 和 Constant Scaling (CS) Method，并通过可视化分析了特征和参数在模型训练过程中的作用，以及scaling系数对梯度量级和输入扰动稳定性的影响。这项研究为提升扩散模型的训练稳定性和鲁棒性提供了新的思路。
文章划重点：
中山大学等研究人员提出了ScaleLong扩散模型，指出UNet的long skip connection上的scaling操作可以稳定模型训练。研究发现，合理设置scaling系数能够缓解特征不稳定，提高模型对输入扰动的鲁棒性。他们提出了Learnable Scaling （LS） Method 和 Constant Scaling （CS） Method，通过这些方法可以自适应地调整scaling系数，进一步稳定模型的训练。可视化特征和参数在模型训练过程中扮演重要角色，而scaling系数则影响梯度量级和输入扰动的稳定性。
ScaleLong模型通过改进UNet的long skip connection，并结合Learnable Scaling和Constant Scaling两种方法，有效提升了扩散模型训练的稳定性和鲁棒性，为扩散模型的应用提供了重要的技术支持。 未来研究可以进一步探索更优的scaling策略，以进一步提升模型性能。