diffusion model tf generativefill

Isi Generatif Tensorflow & Keras

Karya ini menggunakan model difusi untuk menerapkan teknik pengisian generatif seperti membuka kedok gambar, mengecat, memperluas, dan berbagai teknik pengisian generatif.

Lukisan gambar (Gambar asli, Gambar bertopeng, Gambar hasil rekonstruksi)

DDPM dihasilkan (Dilatih dan dihasilkan menggunakan kumpulan data Lanskap).

LDM dihasilkan (Dilatih tentang COCO dan dihasilkan menggunakan dataset Lanskap).

Pengambilan sampel dengan COCO

Lebih banyak gambar yang dihasilkan dapat ditemukan di hasil

Lihat implementasi DDPM saya.

LDM & DDPM untuk GenFill

Repo ini mencakup pengisian generatif menggunakan DDPM. Untuk melakukan hal yang sama menggunakan LDM, periksa repo LDM saya di sini. Folder ldm-genfill di repo ini hanya memiliki file konfigurasi model untuk melakukan pengisian generatif menggunakan model ldm. Jadi, gunakan implementasi di repo LDM saya dengan file konfigurasi di repo ini. Demo & instruksi lain untuk semua pengkondisian LDM tersedia di repo LDM.

Wilayah yang saat ini dibuka kedoknya dari DDPM terlihat lebih relevan secara kontekstual dibandingkan dengan LDM karena DDPM langsung mengerjakan gambar. Menggunakan Pengkondisian teks dan kelas untuk mendukung GenFill sedikit meningkatkan kemampuan pengisian kontekstual dan pelatihan lebih lanjut juga dapat meningkat. Mungkin ada rencana untuk melakukan perbaikan di lain waktu.

Target (Lebih banyak lagi yang dapat ditambahkan.)

• Merekonstruksi area gambar yang hilang alias image inpainting.
  

Pembaruan Terkini

• Menerapkan teknik pengisian generatif dengan panduan kelas dan teks.
  
• Pengisian generatif pada ruang laten untuk Resolusi Tinggi.
  

Ucapan Terima Kasih

• Kumpulan Data LHQ
• Pejabat DDPM

Demo Pelatihan & Generasi

• Isian Generatif menggunakan DDPM.
• Kumpulan data pengambilan sampel LDM GenFill.
• Lihat repo LDM saya untuk Demo pengisian generatif LDM.