Unduh MMD DDM - Unduh kode sumber MMD DDM

MMD DDM

Kode sumber lainnya

Unduh

MMD-DDM

Inferensi Cepat dalam Menyangkal Model Difusi melalui MMD Finetuning

Perkenalan

Denoising Diffusion Models (DDMs) telah menjadi alat yang populer untuk menghasilkan sampel berkualitas tinggi dari distribusi data yang kompleks. Model-model ini mampu menangkap pola dan struktur canggih dalam data, serta dapat menghasilkan sampel yang sangat beragam dan mewakili distribusi yang mendasarinya. Namun, salah satu keterbatasan utama model difusi adalah kompleksitas pembuatan sampel, karena diperlukan sejumlah besar langkah waktu inferensi untuk menangkap distribusi data secara akurat. Dalam tulisan ini, kami menyajikan MMD-DDM, sebuah metode baru untuk pengambilan sampel cepat model difusi. Pendekatan kami didasarkan pada gagasan menggunakan Maksimum Mean Discrepancy (MMD) untuk menyempurnakan distribusi yang dipelajari dengan anggaran jangka waktu tertentu. Hal ini memungkinkan model yang disempurnakan untuk secara signifikan meningkatkan trade-off kualitas kecepatan, dengan meningkatkan fidelitas secara substansial dalam sistem inferensi dengan beberapa langkah atau, setara dengan, dengan mengurangi jumlah langkah yang diperlukan untuk mencapai target fidelitas, sehingga membuka jalan bagi lebih banyak langkah. adopsi praktis model difusi dalam berbagai aplikasi.

Menyempurnakan model yang telah dilatih sebelumnya

Untuk menyempurnakan model difusi terlatih menggunakan strategi MMD-DDM yang kami usulkan, unduh model terlatih dan sesuaikan jalur di runners/diffusion.py, atau gunakan model yang ada di /function/ckpt_util.py dan jalankan perintah:

 python main.py --config {DATASET}.yml --timesteps {num_timesteps (e.g 5)} --exp {PROJECT_PATH} --train

Pengambilan Sampel Gambar untuk evaluasi FID

Untuk mengambil sampel gambar yang dihasilkan dari model yang disempurnakan, sesuaikan jalur di fungsi test_FID di runners/diffusion.py dengan model yang baru Anda latih dan jalankan:

 python main.py --config {DATASET}.yml --timesteps {num_timesteps (e.g 5)} --test_FID

Kutipan

Jika Anda merasa MMD-DDM bermanfaat dalam penelitian Anda, mohon pertimbangkan untuk mengutip:

 @article { aiello2023fast ,
  title = { Fast Inference in Denoising Diffusion Models via MMD Finetuning } ,
  author = { Aiello, Emanuele and Valsesia, Diego and Magli, Enrico } ,
  journal = { arXiv preprint arXiv:2301.07969 } ,
  year = { 2023 }
}