MMD DDM

MMD-DDM

透過 MMD 微調在去雜訊擴散模型中進行快速推理

介紹

去噪擴散模型 (DDM) 已成為從複雜資料分佈產生高品質樣本的流行工具。這些模型能夠捕捉資料中複雜的模式和結構，並且可以產生高度多樣化且代表底層分佈的樣本。然而，擴散模型的主要限制之一是樣本產生的複雜性，因為需要大量的推理時間步才能忠實地捕捉資料分佈。在本文中，我們提出了 MMD-DDM，一種用於擴散模型快速取樣的新方法。我們的方法是基於使用最大平均差異（MMD）的思想，透過給定的時間步預算來微調學習的分佈。這使得微調模型能夠顯著改善速度與品質之間的權衡，透過用很少的步驟大幅提高推理機制的保真度，或者等效地，透過減少達到目標保真度所需的步驟數，從而為更多的模型鋪路。

微調預訓練模型

若要使用我們提出的 MMD-DDM 策略微調預訓練擴散模型，請下載預訓練模型並調整 runners/diffusion.py 中的路徑，或使用 /function/ckpt_util.py 中存在的模型並執行指令：

 python main.py --config {DATASET}.yml --timesteps {num_timesteps (e.g 5)} --exp {PROJECT_PATH} --train 

用於 FID 評估的影像取樣

若要對從微調模型產生的影像進行取樣，請使用新訓練的模型調整 runners/diffusion.py 中的 test_FID 函數中的路徑並執行：

 python main.py --config {DATASET}.yml --timesteps {num_timesteps (e.g 5)} --test_FID  

引文

如果您發現 MMD-DDM 對您的研究有幫助，請考慮引用：

 @article { aiello2023fast ,
  title = { Fast Inference in Denoising Diffusion Models via MMD Finetuning } ,
  author = { Aiello, Emanuele and Valsesia, Diego and Magli, Enrico } ,
  journal = { arXiv preprint arXiv:2301.07969 } ,
  year = { 2023 }
}

致謝

該儲存庫基於 DDIM 官方實現：https://github.com/ermongroup/ddim

接觸

如果您有任何疑問，請隨時提出問題或透過 [email protected] 與我們聯繫

？ ⛏️？

預訓練模型即將發布！