diffusion model tf generativefill
1.0.0
이 작업에서는 확산 모델을 사용하여 이미지 언마스킹, 인페인팅, 확장 및 다양한 생성 채우기 기술과 같은 생성 채우기 기술을 구현합니다.
이미지 인페인팅(원본 이미지, 마스크된 이미지, 재구성된 이미지)
DDPM이 생성되었습니다(풍경 데이터세트를 사용하여 학습 및 생성됨).
LDM이 생성되었습니다(COCO에서 훈련되었으며 풍경 데이터세트를 사용하여 생성됨).
COCO로 샘플링
더 많은 생성된 이미지를 결과에서 찾을 수 있습니다.
내 DDPM 구현을 확인해 보세요.
이 저장소에는 DDPM을 사용한 생성적 채우기가 포함되어 있습니다. LDM을 사용하여 동일한 작업을 수행하려면 여기에서 내 LDM 저장소를 확인하세요. 이 저장소의 ldm-genfill 폴더에는 ldm 모델을 사용하여 생성 채우기를 수행하기 위한 모델 구성 파일만 있습니다. 따라서 이 저장소의 구성 파일과 함께 내 LDM 저장소의 구현을 사용하십시오. 모든 LDM 조건에 대한 데모 및 기타 지침은 LDM 저장소에서 확인할 수 있습니다.
현재 DDPM에서 마스크되지 않은 영역은 DDPM이 이미지에서 직접 작동하므로 LDM에 비해 상황적으로 더 관련성이 높아 보입니다. GenFill을 지원하기 위해 텍스트 및 클래스 조건 조정을 사용하면 상황별 채우기 기능이 약간 향상되고 추가 교육도 향상될 수 있습니다. 나중에 개선할 계획이 있을 수도 있습니다.
최근 업데이트