diffusion model tf generativefill
1.0.0
Ce travail utilise des modèles de diffusion pour mettre en œuvre des techniques de remplissage génératif telles que le démasquage d'image, l'inpainting, l'expansion et diverses techniques de remplissage génératif.
Inpainting d'image (image originale, image masquée, image reconstruite)
DDPM généré (entraîné et généré à l'aide de l'ensemble de données Landscape).
Généré par LDM (formé sur COCO et généré à l'aide de l'ensemble de données Landscape).
Échantillonnage avec COCO
D'autres images générées peuvent être trouvées dans les résultats
Découvrez mon implémentation DDPM.
Ce référentiel inclut le remplissage génératif à l'aide de DDPM. Pour effectuer la même chose avec LDM, consultez mon dépôt LDM ici. Le dossier ldm-genfill de ce dépôt contient uniquement les fichiers de configuration du modèle pour effectuer un remplissage génératif à l'aide de modèles ldm. Utilisez donc l'implémentation dans mon dépôt LDM avec les fichiers de configuration dans ce dépôt. Une démo et d'autres instructions pour tous les conditionnements LDM sont disponibles dans le dépôt LDM.
Les régions actuellement non masquées de DDPM semblent plus pertinentes sur le plan contextuel que celles de LDM, car DDPM fonctionne directement sur les images. L'utilisation du conditionnement de texte et de classe pour prendre en charge GenFill améliore légèrement la capacité de remplissage contextuel et une formation ultérieure peut également s'améliorer. Des améliorations pourraient être envisagées ultérieurement.
Mises à jour récentes
