Automated objects removal inpainter

자동화된 개체 제거-Inpainter

Replicate의 데모 및 Docker 이미지

자동 개체 제거기 Inpainter는 사진에서 지정된 개체를 제거하기 위해 Semantic Segmentation과 EdgeConnect 아키텍처를 약간의 변경 사항과 결합한 프로젝트입니다. 의미론적 분할의 경우 pytorch의 코드가 적용되었으며 EdgeConnect의 경우 코드는 https://github.com/knazeri/edge-connect에서 적용되었습니다.

이 프로젝트는 20개의 서로 다른 개체 목록에서 개체를 제거할 수 있습니다. 사진 편집 도구 및 데이터 확대용으로 사용할 수 있습니다.

이 프로젝트에는 Python 3.8.5 및 pytorch 1.5.1이 사용되었습니다.

어떻게 작동하나요?

deeplabv3/fcn resnet 101의 의미론적 분할기 모델이 EdgeConnect와 결합되었습니다. 사전 훈련된 분할 네트워크는 객체 분할(감지된 객체 주위에 마스크 생성)에 사용되었으며 해당 출력은 마스크 일부가 제거된 입력 이미지와 함께 EdgeConnect 네트워크에 공급됩니다. EdgeConnect는 첫 번째 단계가 에지 생성기이고 그 다음이 이미지 완성 네트워크인 2단계 적대적 아키텍처를 사용합니다. EdgeConnect 문서는 여기에서 찾을 수 있으며 코드는 이 저장소에서 찾을 수 있습니다.

전제 조건

• 파이썬 3
• 파이토치 1.0.1 <
• NVIDIA GPU + CUDA cuDNN(선택 사항)

설치

• 이 저장소를 복제하세요

 git clone https://github.com/sujaykhandekar/Automated-objects-removal-inpainter.git
cd Automated-objects-removal-inpainter

또는 zip 파일을 다운로드하십시오.

• 이 명령으로 pytorch를 설치하세요

 conda install pytorch==1.5.1 torchvision==0.6.1 -c pytorch

• 이 명령을 사용하여 다른 Python 요구 사항을 설치하십시오.

 pip install -r requirements.txt

• 세 가지 사전 학습된 Edgeconnect 모델 중 하나를 설치하고 ./checkpoints 디렉터리에 복사합니다.
  Placaes2(옵션 1) CelebA(옵션 2) 파리 스트리트 뷰(옵션 3)

또는 다음 명령을 사용할 수도 있습니다.

 bash ./scripts/download_model.sh

예측/테스트

빠른 예측을 위해 이 명령을 실행할 수 있습니다. cuda/gpu가 없으면 두 번째 명령을 실행하세요.

 python test.py --input ./examples/my_small_data --output ./checkpoints/resultsfinal --remove 3 15

./examples/my_small_data 디렉터리에서 샘플 이미지를 가져와 ./checkpoints/resultsfinal 디렉터리에 결과를 생성하고 생성합니다. 이러한 입력/출력 디렉터리를 원하는 디렉터리로 바꿀 수 있습니다. --remo 뒤의 숫자는 이미지에서 제거할 개체를 지정합니다. 위의 명령은 이미지에서 3(새)와 15(사람)을 제거합니다. 모든 제거 옵션은 해당 번호와 함께 Segmentation-classes.txt를 확인하세요.

출력 이미지는 모두 256x256입니다. NVIDIA GeForce GTX 1650에서 1000개의 이미지를 만드는 데 약 10분이 소요됩니다.

더 나은 품질을 원하지만 런타임을 느리게 하려면 이 명령을 사용할 수 있습니다.

 python test.py --input ./examples/my_small_data --output ./checkpoints/resultsfinal --remove 3 15 --cpu yes

CPU에서 분할 모델을 실행합니다. GPU보다 5배 느립니다(기본값). 다른 분할 모델 및 EdgeConnect 매개변수를 포함한 다른 옵션을 변경하려면 .checkpoints/config.yml 파일에서 해당 수정을 수행하십시오.

훈련

자신만의 세분화 모델을 학습하려면 이 저장소를 참조하고 .src/segmentor_fcn.py를 해당 모델로 바꿀 수 있습니다.

Edgeconnect 모델을 훈련하려면 훈련 후 원래 EdgeConnect 저장소를 참조하세요. 모델 가중치를 .checkpoints/에 복사할 수 있습니다.

일부 결과

다음 단계

• 이 프로젝트에 사용된 사전 훈련된 EdgeConnect 모델은 256 x256 이미지에서 훈련되었습니다. 입력과 동일한 크기의 출력 이미지를 만들려면 두 가지 접근 방식을 사용할 수 있습니다. 더 큰 이미지에 대해 자체 Edgeconnect 모델을 훈련할 수 있습니다. 또는 이미지에서 감지된 모든 개체에 대해 256x256의 하위 이미지를 생성한 다음 edgeconnect를 통과한 후 다시 병합하여 원래 크기의 이미지를 재구성할 수 있습니다. 이 저장소에서는 유사한 접근 방식이 사용되었습니다.
• 분할 클래스에 없는 객체를 감지하려면 자체 분할 모델을 훈련하거나 150개의 다양한 범주가 있는 이 저장소에서 사전 훈련된 분할 모델을 사용할 수 있습니다.
• Opnecv의 기능 매칭과 EdgeConnect의 가장자리 예측을 결합하여 사용자가 만든 단일 마스크를 기반으로 관련 객체에 대한 마스크를 강조 표시하고 생성하는 것도 가능합니다. 이 부분은 제가 직접 해볼 수도 있겠네요.

특허

Creative Commons Attribution-NonCommercial 4.0 International에 따라 라이선스가 부여됩니다.

달리 명시하지 않는 한 이 콘텐츠는 CC BY-NC 라이선스에 따라 게시됩니다. 즉, 해당 자료를 상업적 목적으로 사용하지 않고 적절한 출처를 표시하고 제공하지 않는 한 해당 콘텐츠를 복사, 리믹스, 변형 및 구축할 수 있습니다. 라이센스에 대한 링크.

소환

 @inproceedings{nazeri2019edgeconnect,
  title={EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning},
  author={Nazeri, Kamyar and Ng, Eric and Joseph, Tony and Qureshi, Faisal and Ebrahimi, Mehran},
  journal={arXiv preprint},
  year={2019},
}

@InProceedings{Nazeri_2019_ICCV,
  title = {EdgeConnect: Structure Guided Image Inpainting using Edge Prediction},
  author = {Nazeri, Kamyar and Ng, Eric and Joseph, Tony and Qureshi, Faisal and Ebrahimi, Mehran},
  booktitle = {The IEEE International Conference on Computer Vision (ICCV) Workshops},
  month = {Oct},
  year = {2019}
}