diffusion model tf generativefill
1.0.0
В этой работе модели диффузии используются для реализации методов генеративного заполнения, таких как размаскирование изображений, закрашивание, расширение и различные методы генеративного заполнения.
Закрашивание изображения (Исходное изображение, Замаскированное изображение, Реконструированное изображение)
Создан DDPM (обученный и созданный с использованием набора данных ландшафта).
Сгенерировано LDM (обучено на COCO и создано с использованием набора данных ландшафта).
Отбор проб с помощью COCO
Больше сгенерированных изображений можно найти в результатах.
Ознакомьтесь с моей реализацией DDPM.
Этот репозиторий включает генеративное заполнение с использованием DDPM. Чтобы сделать то же самое с помощью LDM, ознакомьтесь с моим репозиторием LDM здесь. В папке ldm-genfill в этом репозитории содержатся только файлы конфигурации модели для выполнения генеративного заполнения с использованием моделей ldm. Итак, используйте реализацию из моего репозитория LDM с файлами конфигурации в этом репозитории. Демо и другие инструкции по настройке LDM доступны в репозитории LDM.
В настоящее время немаскированные регионы из DDPM выглядят более контекстуально релевантными по сравнению с LDM, поскольку DDPM напрямую работает с изображениями. Использование условий текста и классов для поддержки GenFill немного улучшает возможности контекстного заполнения, а дальнейшее обучение также может улучшиться. Возможно, позже появятся планы по улучшению.
Недавние обновления
