ดาวน์โหลด MMD DDM - ดาวน์โหลดซอร์สโค้ด MMD DDM

MMD DDM

ซอร์สโค้ดอื่น ๆ

ดาวน์โหลด

เอ็มเอ็มดี-ดีดีเอ็ม

การอนุมานอย่างรวดเร็วในโมเดลการกระจายสัญญาณรบกวนผ่าน MMD Finetuning

การแนะนำ

Denoising Diffusion Models (DDM) ได้กลายเป็นเครื่องมือยอดนิยมในการสร้างตัวอย่างคุณภาพสูงจากการกระจายข้อมูลที่ซับซ้อน โมเดลเหล่านี้สามารถจับรูปแบบและโครงสร้างที่ซับซ้อนในข้อมูล และสามารถสร้างตัวอย่างที่มีความหลากหลายสูงและเป็นตัวแทนของการกระจายตัวพื้นฐาน อย่างไรก็ตาม ข้อจำกัดหลักประการหนึ่งของแบบจำลองการแพร่กระจายคือความซับซ้อนของการสร้างตัวอย่าง เนื่องจากจำเป็นต้องมีการอนุมานจำนวนมากเพื่อบันทึกการกระจายข้อมูลอย่างเที่ยงตรง ในบทความนี้ เรานำเสนอ MMD-DDM ซึ่งเป็นวิธีการใหม่สำหรับการสุ่มตัวอย่างแบบจำลองการแพร่กระจายอย่างรวดเร็ว แนวทางของเรามีพื้นฐานมาจากแนวคิดในการใช้ค่าความคลาดเคลื่อนเฉลี่ยสูงสุด (MMD) เพื่อปรับแต่งการกระจายการเรียนรู้ด้วยงบประมาณของการก้าวเวลาที่กำหนด สิ่งนี้ช่วยให้แบบจำลองที่ได้รับการปรับแต่งปรับปรุงการแลกเปลี่ยนคุณภาพความเร็วได้อย่างมีนัยสำคัญ โดยเพิ่มความเที่ยงตรงในระบบการอนุมานอย่างมากด้วยไม่กี่ขั้นตอน หรือในทำนองเดียวกัน โดยการลดจำนวนขั้นตอนที่ต้องการเพื่อให้บรรลุความเที่ยงตรงของเป้าหมาย ซึ่งจะช่วยปูทางไปสู่ความเที่ยงตรงของเป้าหมายมากขึ้น การนำแบบจำลองการแพร่กระจายไปใช้ในทางปฏิบัติในการใช้งานที่หลากหลาย

การปรับแต่งโมเดลที่ฝึกไว้ล่วงหน้าอย่างละเอียด

หากต้องการปรับแต่งโมเดลการแพร่กระจายที่ฝึกไว้ล่วงหน้าโดยใช้กลยุทธ์ MMD-DDM ที่เราเสนอ ให้ดาวน์โหลดโมเดลที่ฝึกไว้แล้วและปรับเส้นทางใน runners/diffusion.py หรือใช้โมเดลที่มีอยู่ใน /function/ckpt_util.py แล้วรันคำสั่ง:

 python main.py --config {DATASET}.yml --timesteps {num_timesteps (e.g 5)} --exp {PROJECT_PATH} --train

การสุ่มตัวอย่างภาพเพื่อการประเมิน FID

หากต้องการตัวอย่างรูปภาพที่สร้างจากโมเดลที่ได้รับการปรับแต่งอย่างละเอียด ให้ปรับพาธใน test_FID funciton ใน runners/diffusion.py ด้วยโมเดลที่เพิ่งฝึกใหม่ของคุณแล้วรัน:

 python main.py --config {DATASET}.yml --timesteps {num_timesteps (e.g 5)} --test_FID

การอ้างอิง

หากคุณพบว่า MMD-DDM มีประโยชน์ในการวิจัยของคุณ โปรดพิจารณาการอ้างอิง:

 @article { aiello2023fast ,
  title = { Fast Inference in Denoising Diffusion Models via MMD Finetuning } ,
  author = { Aiello, Emanuele and Valsesia, Diego and Magli, Enrico } ,
  journal = { arXiv preprint arXiv:2301.07969 } ,
  year = { 2023 }
}