Téléchargement MMD DDM - Téléchargement du code source MMD DDM

MMD DDM

Autre code source

Télécharger

MMD-DDM

Inférence rapide dans les modèles de diffusion de débruitage via MMD Finetuning

Introduction

Les modèles de diffusion de débruitage (DDM) sont devenus un outil populaire pour générer des échantillons de haute qualité à partir de distributions de données complexes. Ces modèles sont capables de capturer des modèles et des structures sophistiqués dans les données et peuvent générer des échantillons très divers et représentatifs de la distribution sous-jacente. Cependant, l’une des principales limites des modèles de diffusion est la complexité de la génération d’échantillons, puisqu’un grand nombre de pas de temps d’inférence est nécessaire pour capturer fidèlement la distribution des données. Dans cet article, nous présentons MMD-DDM, une nouvelle méthode d'échantillonnage rapide de modèles de diffusion. Notre approche est basée sur l'idée d'utiliser l'écart moyen maximum (MMD) pour affiner la distribution apprise avec un budget de pas de temps donné. Cela permet au modèle affiné d'améliorer considérablement le compromis vitesse-qualité, en augmentant considérablement la fidélité dans les régimes d'inférence avec peu d'étapes ou, de manière équivalente, en réduisant le nombre d'étapes requis pour atteindre une fidélité cible, ouvrant ainsi la voie à un modèle plus précis. adoption pratique de modèles de diffusion dans un large éventail d’applications.

Affiner un modèle pré-entraîné

Pour affiner un modèle de diffusion pré-entraîné à l'aide de notre stratégie MMD-DDM proposée, téléchargez les modèles pré-entraînés et ajustez le chemin dans runners/diffusion.py, ou utilisez les modèles présents dans /function/ckpt_util.py et exécutez la commande :

 python main.py --config {DATASET}.yml --timesteps {num_timesteps (e.g 5)} --exp {PROJECT_PATH} --train

Échantillonnage d'images pour l'évaluation FID

Pour échantillonner l'image générée à partir du modèle affiné, ajustez le chemin dans la fonction test_FID dans runners/diffusion.py avec votre modèle nouvellement entraîné et exécutez :

 python main.py --config {DATASET}.yml --timesteps {num_timesteps (e.g 5)} --test_FID

Citation

Si vous trouvez MMD-DDM utile dans votre recherche, pensez à citer :

 @article { aiello2023fast ,
  title = { Fast Inference in Denoising Diffusion Models via MMD Finetuning } ,
  author = { Aiello, Emanuele and Valsesia, Diego and Magli, Enrico } ,
  journal = { arXiv preprint arXiv:2301.07969 } ,
  year = { 2023 }
}