diffusion model tf generativefill

การสร้าง Tensorflow เติม & Keras

งานนี้ใช้แบบจำลองการแพร่กระจายเพื่อใช้เทคนิคการเติมแบบกำเนิด เช่น การเปิดโปงภาพ การลงสี การขยาย และเทคนิคการเติมแบบกำเนิดต่างๆ

การวาดภาพในรูปภาพ (ภาพต้นฉบับ, ภาพมาสก์, ภาพที่สร้างใหม่)

สร้าง DDPM (ฝึกอบรมและสร้างโดยใช้ชุดข้อมูลแนวนอน)

สร้าง LDM (ฝึกฝนบน COCO และสร้างโดยใช้ชุดข้อมูลแนวนอน)

การสุ่มตัวอย่างด้วย COCO

สามารถดูรูปภาพที่สร้างขึ้นเพิ่มเติมได้ในผลลัพธ์

ตรวจสอบการใช้งาน DDPM ของฉัน

LDM และ DDPM สำหรับ GenFill

การซื้อคืนนี้รวมการเติมแบบกำเนิดโดยใช้ DDPM หากต้องการดำเนินการเช่นเดียวกันโดยใช้ LDM ให้ชำระเงิน repo LDM ของฉันที่นี่ โฟลเดอร์ ldm-genfill ใน repo นี้มีเฉพาะไฟล์กำหนดค่าโมเดลเพื่อดำเนินการเติมแบบทั่วไปโดยใช้โมเดล ldm ดังนั้น ใช้งานใน repo LDM ของฉันกับไฟล์ปรับแต่งใน repo นี้ การสาธิตและคำแนะนำอื่นๆ สำหรับการปรับสภาพ LDM ทั้งหมดมีอยู่ใน LDM repo

ขอบเขตที่ไม่ถูกปกปิดในปัจจุบันจาก DDPM ดูมีความเกี่ยวข้องทางบริบทมากกว่าเมื่อเปรียบเทียบกับ LDM เนื่องจาก DDPM ทำงานบนรูปภาพโดยตรง การใช้การปรับเงื่อนไขข้อความและคลาสเพื่อรองรับ GenFill จะปรับปรุงความสามารถในการเติมตามบริบทเล็กน้อย และการฝึกอบรมเพิ่มเติมก็อาจปรับปรุงได้เช่นกัน อาจมีแผนการปรับปรุงในภายหลัง

เป้าหมาย (อาจมีเพิ่มอีก)

• การสร้างพื้นที่ที่ขาดหายไปของรูปภาพขึ้นมาใหม่ หรือที่เรียกว่ารูปภาพในการวาดภาพ
  

อัพเดทล่าสุด

• ใช้เทคนิคการเติมเชิงสร้างสรรค์พร้อมคำแนะนำในชั้นเรียนและข้อความ
  
• การเติมช่องว่างแฝงเพื่อความละเอียดสูง
  

รับทราบ

• ชุดข้อมูล LHQ
• ดีดีพีเอ็มอย่างเป็นทางการ

การสาธิตการฝึกอบรมและการสร้าง

• GeneativeFill โดยใช้ DDPM
• ชุดข้อมูลการสุ่มตัวอย่าง LDM GenFill
• ชำระเงิน repo LDM ของฉันสำหรับการสาธิตการเติม LDM generative