Para peneliti dari Universitas Sun Yat-sen dan peneliti lain mengusulkan metode baru yang disebut ScaleLong untuk mengatasi masalah stabilitas selama pelatihan model difusi. Metode ini secara efektif mengurangi ketidakstabilan fitur dan meningkatkan ketahanan model terhadap gangguan masukan dengan melakukan operasi penskalaan pada koneksi lompatan panjang UNet. Para peneliti mengusulkan dua metode penyesuaian koefisien penskalaan spesifik: Metode Learnable Scaling (LS) dan Metode Constant Scaling (CS), dan menganalisis secara visual peran fitur dan parameter dalam proses pelatihan model, serta pengaruh koefisien penskalaan pada besaran gradien. dan dampak stabilitas gangguan masukan. Penelitian ini memberikan ide-ide baru untuk meningkatkan stabilitas pelatihan dan ketahanan model difusi.
Artikel ini berfokus pada:
Para peneliti dari Universitas Sun Yat-sen dan peneliti lain mengusulkan model difusi ScaleLong dan menunjukkan bahwa operasi penskalaan pada koneksi lompatan panjang UNet dapat menstabilkan pelatihan model. Penelitian telah menemukan bahwa pengaturan koefisien penskalaan yang wajar dapat mengurangi ketidakstabilan fitur dan meningkatkan ketahanan model terhadap gangguan masukan. Mereka mengusulkan Metode Learnable Scaling (LS) dan Metode Constant Scaling (CS), yang melaluinya koefisien penskalaan dapat disesuaikan secara adaptif untuk lebih menstabilkan pelatihan model. Fitur dan parameter visual memainkan peran penting dalam proses pelatihan model, sedangkan koefisien penskalaan mempengaruhi besaran gradien dan stabilitas gangguan masukan.
Model ScaleLong secara efektif meningkatkan stabilitas dan ketahanan pelatihan model difusi dengan meningkatkan koneksi lompatan panjang UNet dan menggabungkan metode Penskalaan yang Dapat Dipelajari dan Penskalaan Konstan, serta memberikan dukungan teknis yang penting untuk penerapan model difusi. Penelitian di masa depan dapat mengeksplorasi lebih jauh strategi penskalaan yang lebih baik untuk lebih meningkatkan kinerja model.