Sun Yat-sen University의 연구원과 다른 연구원들은 확산 모델 훈련 중 안정성 문제를 해결하기 위해 ScaleLong이라는 새로운 방법을 제안했습니다. 이 방법은 UNet의 긴 스킵 연결에 대해 스케일링 작업을 수행하여 기능 불안정성을 효과적으로 완화하고 입력 교란에 대한 모델의 견고성을 향상시킵니다. 연구진은 LS(Learnable Scaling) 방법과 CS(Constant Scaling) 방법이라는 두 가지 구체적인 스케일링 계수 조정 방법을 제안하고, 모델 훈련 과정에서 특징과 매개변수의 역할과 스케일링 계수가 모델 학습에 미치는 영향을 시각적으로 분석했습니다. 기울기 크기 및 입력 교란 안정성의 영향. 이 연구는 확산 모델의 훈련 안정성과 견고성을 향상시키기 위한 새로운 아이디어를 제공합니다.
이 기사는 다음에 중점을 둡니다.
Sun Yat-sen 대학의 연구원과 다른 연구원들은 ScaleLong 확산 모델을 제안하고 UNet의 긴 건너뛰기 연결에 대한 스케일링 작업이 모델 훈련을 안정화할 수 있음을 지적했습니다. 연구에 따르면 스케일링 계수를 합리적으로 설정하면 특성 불안정성이 완화되고 입력 교란에 대한 모델의 견고성이 향상될 수 있는 것으로 나타났습니다. 그들은 모델 훈련을 더욱 안정화하기 위해 스케일링 계수를 적응적으로 조정할 수 있는 학습 가능한 스케일링(LS) 방법과 상수 스케일링(CS) 방법을 제안했습니다. 시각적 특징과 매개변수는 모델 훈련 과정에서 중요한 역할을 하는 반면, 스케일링 계수는 기울기 크기와 입력 섭동의 안정성에 영향을 미칩니다.
ScaleLong 모델은 UNet의 긴 건너뛰기 연결을 개선하고 학습 가능한 스케일링과 상수 스케일링 방법을 결합하여 확산 모델 훈련의 안정성과 견고성을 효과적으로 향상시키고 확산 모델 적용에 중요한 기술 지원을 제공합니다. 향후 연구에서는 모델 성능을 더욱 향상시키기 위해 더 나은 확장 전략을 추가로 탐색할 수 있습니다.