Automated objects removal inpainter

Автоматическое удаление объектов-Inpainter

Демонстрационный образ и образ Docker на реплике

Автоматическое удаление объектов Inpainter — это проект, который сочетает в себе архитектуру семантической сегментации и EdgeConnect с небольшими изменениями для удаления определенных объектов с фотографий. Для семантической сегментации был адаптирован код из pytorch, а для EdgeConnect — код из https://github.com/knazeri/edge-connect.

Этот проект способен удалять объекты из списка из 20 различных. Его можно использовать как инструмент для редактирования фотографий, а также для увеличения данных.

В этом проекте использовались Python 3.8.5 и pytorch 1.5.1.

Как это работает?

Модель семантического сегментатора deeplabv3/fcn resnet 101 была объединена с EdgeConnect. Предварительно обученная сеть сегментации использовалась для сегментации объекта (генерации маски вокруг обнаруженного объекта), и ее выходные данные передаются в сеть EdgeConnect вместе с входным изображением с удаленной частью маски. EdgeConnect использует двухэтапную состязательную архитектуру, где первым этапом является генератор границ, за которым следует сеть завершения изображения. Документ EdgeConnect можно найти здесь, а код — в этом репозитории.

Предварительное условие

• питон 3
• питорч 1.0.1 <
• NVIDIA GPU + CUDA cuDNN (опционально)

Установка

• клонировать этот репозиторий

 git clone https://github.com/sujaykhandekar/Automated-objects-removal-inpainter.git
cd Automated-objects-removal-inpainter

или альтернативно загрузите zip-файл.

• установите pytorch с помощью этой команды

 conda install pytorch==1.5.1 torchvision==0.6.1 -c pytorch

• установите другие требования Python с помощью этой команды

 pip install -r requirements.txt

• Установите одну из трех предварительно обученных моделей Edgeconnect и скопируйте их в каталог ./checkpoints.
  Plcaes2 (вариант 1) CelebA (вариант 2) Вид на улицу Парижа (вариант 3)

или альтернативно вы можете использовать эту команду:

 bash ./scripts/download_model.sh

Прогнозирование/Тест

Для быстрого прогнозирования вы можете запустить эту команду. Если у вас нет cuda/gpu, запустите вторую команду.

 python test.py --input ./examples/my_small_data --output ./checkpoints/resultsfinal --remove 3 15

Он возьмет образцы изображений в каталоге ./examples/my_small_data и создаст и выдаст результат в каталоге ./checkpoints/resultsfinal. Вы можете заменить эти каталоги ввода/вывода на нужные вам. числа после --remove указывают объекты, которые нужно удалить из изображений. Команда ABove удалит из изображений 3 (птицы) и 15 (людей). Проверьте файл сегментации-classes.txt на наличие всех вариантов удаления вместе с их номером.

Все выходные изображения будут иметь размер 256x256. Для создания 1000 изображений на NVIDIA GeForce GTX 1650 требуется около 10 минут.

для лучшего качества, но более медленного выполнения вы можете использовать эту команду

 python test.py --input ./examples/my_small_data --output ./checkpoints/resultsfinal --remove 3 15 --cpu yes

Он запустит модель сегментации на процессоре. Это будет в 5 раз медленнее, чем на графическом процессоре (по умолчанию). Чтобы изменить другие параметры, включая другую модель сегментации и параметры EdgeConnect, внесите соответствующие изменения в файл .checkpoints/config.yml.

обучение

Для обучения собственной модели сегментации вы можете обратиться к этому репозиторию и заменить .src/segmentor_fcn.py своей моделью.

Для обучения модели Edgeconnect обратитесь к исходному репозиторию EdgeConnect. После обучения вы можете скопировать веса модели в .checkpoints/

некоторые результаты

Следующие шаги

• предварительно обученные модели EdgeConnect, используемые в этом проекте, обучаются на изображениях размером 256 x 256 пикселей. Чтобы сделать выходные изображения того же размера, что и входные, можно использовать два подхода. Вы можете обучить свою собственную модель Edgeconnect на изображениях большего размера. Или вы можете создать фрагменты изображений размером 256x256 для каждого объекта, обнаруженного на изображении, а затем объединить их вместе после прохождения через Edgeconnect, чтобы восстановить изображение исходного размера. Аналогичный подход использовался в этом репо.
• Чтобы обнаружить объект, отсутствующий в классах сегментации, вы можете обучить свою собственную модель сегментации или использовать предварительно обученные модели сегментации из этого репозитория, в котором доступно 150 различных категорий.
• Также можно объединить функции сопоставления объектов opnecv и прогнозирования границ из EdgeConnect, чтобы выделить и создать маску для соответствующих объектов на основе одной маски, созданной пользователем. Я могу попробовать эту часть сам.

Лицензия

Лицензия Creative Commons Attribution-NonCommercial 4.0 International.

Если не указано иное, этот контент публикуется под лицензией CC BY-NC, что означает, что вы можете копировать, изменять, преобразовывать и использовать контент при условии, что вы не используете материал в коммерческих целях, а также даете соответствующую ссылку и предоставляете ссылка на лицензию.

Цитирование

 @inproceedings{nazeri2019edgeconnect,
  title={EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning},
  author={Nazeri, Kamyar and Ng, Eric and Joseph, Tony and Qureshi, Faisal and Ebrahimi, Mehran},
  journal={arXiv preprint},
  year={2019},
}

@InProceedings{Nazeri_2019_ICCV,
  title = {EdgeConnect: Structure Guided Image Inpainting using Edge Prediction},
  author = {Nazeri, Kamyar and Ng, Eric and Joseph, Tony and Qureshi, Faisal and Ebrahimi, Mehran},
  booktitle = {The IEEE International Conference on Computer Vision (ICCV) Workshops},
  month = {Oct},
  year = {2019}
}