中山大學等研究人員針對擴散模型訓練過程中的穩定性問題，提出了一種名為ScaleLong的新方法。此方法透過在UNet的long skip connection上進行scaling操作，有效緩解了特徵不穩定性，增強了模型對輸入擾動的穩健性。研究人員提出了兩種具體的scaling係數調整方法：Learnable Scaling (LS) Method 和Constant Scaling (CS) Method，並透過視覺化分析了特徵和參數在模型訓練過程中的作用，以及scaling係數對梯度量級和輸入擾動穩定性的影響。這項研究為提升擴散模式的訓練穩定性和穩健性提供了新的思路。
文章底線重點：
中山大學等研究人員提出了ScaleLong擴散模型，指出UNet的long skip connection上的scaling操作可以穩定模型訓練。研究發現，合理設定scaling係數能夠緩解特徵不穩定，提高模型對輸入擾動的穩健性。他們提出了Learnable Scaling （LS） Method 和Constant Scaling （CS） Method，透過這些方法可以自適應地調整scaling係數，進一步穩定模型的訓練。視覺化特徵和參數在模型訓練過程中扮演重要角色，而scaling係數則影響梯度量級和輸入擾動的穩定性。
ScaleLong模型透過改進UNet的long skip connection，並結合Learnable Scaling和Constant Scaling兩種方法，有效提升了擴散模型訓練的穩定性和穩健性，為擴散模型的應用提供了重要的技術支援。 未來研究可以進一步探討更優的scaling策略，以進一步提升模型效能。