awesome alignment of diffusion models

擴散模型的驚人對齊

關於擴散模型對齊的精彩論文集。

如果您對擴散模型的對齊感興趣，請參閱我們的調查論文“擴散模型的對齊：基礎知識、挑戰和未來”，這是據我們所知關於該主題的第一份調查。

我們希望與更多的研究人員一起享受探索排列和擴散模型的冒險。歡迎指正和建議。

擴散模型的對齊技術

RLHF

• ImageReward：學習並評估人類對文字到圖像生成的偏好。 NeurIPS 2023，[pdf]
• DPOK：用於微調文字到影像擴散模型的強化學習，NeurIPS 2023，[pdf]
• 使用人類反饋對齊文字到圖像模型。 arXiv 2023，[pdf]
• 透過獎勵反向傳播對齊文字到圖像擴散模型。 arXiv 2023，[pdf]
• 直接微調可微獎勵的擴散模型。 ICLR 2024，[pdf]
• PRDP：擴散模型大規模獎勵微調的近端獎勵差異預測。 CVPR 2024，[pdf]
• 擴散模型的回饋高效在線微調。 ICML 2024，[pdf]
• 連續時間擴散模型的微調作為熵正則化控制。 arXiv 2024，[pdf]
• 了解基於強化學習的擴散模型微調：教學與回顧。 arXiv 2024，[pdf]
• 將少步擴散模型與密集獎勵差異學習結合。 arXiv 2024，[pdf]

資料保護組織

• 使用直接偏好優化的擴散模型對齊。 CVPR 2024，[pdf]
• 使用人類回饋來微調擴散模型，無需任何獎勵模型。 CVPR 2024，[pdf]
• 關於將文字到圖像擴散與偏好對齊的密集獎勵視圖。 ICML 2024，[pdf]
• 用於文字到圖像生成的擴散模型的自玩微調。 NeurIPS 2024，[pdf]
• 透過優化人類效用來調整擴散模型。 arXiv 2024，[pdf]
• 步驟感知偏好優化：使偏好與每一步的去噪效能保持一致。 arXiv 2024，[pdf]
• 使用成對樣本最佳化調整時間步長蒸餾擴散模型。 arXiv 2024，[pdf]
• 用於文字到圖像生成的可擴展排名偏好優化。 arXiv 2024，[pdf]
• 透過明確去雜訊分佈估計對擴散模型偏好對齊的去雜訊步驟進行優先排序。 arXiv 2024，[pdf]

免訓練隱式對齊

• 優化文字到圖像生成的提示。 NeurIPS 2023，[pdf]
• RePrompt：自動提示編輯，以完善人工智慧生成藝術以實現精確的表達。 CHI 2023，[pdf]
• 透過自動提示優化提高文字到圖像的一致性。 TMLR 2024，[pdf]
• 文字到圖像生成的動態提示優化。 CVPR 2024，[pdf]
• ReNO：透過基於獎勵的雜訊優化增強一步文字到影像模型。 NeurIPS 2024，[pdf]
• 透過注意力調製實現更好的文字到圖像生成對齊。 arXiv 2024，[pdf]
• 並非所有噪音都是平等產生的：擴散噪音選擇和最佳化。 arXiv 2024，[pdf]
• 具有基於軟值的解碼的連續和離散擴散模型中的無導數指導。 arXiv 2024，[pdf]
• 具有直接雜訊最佳化的擴散模型的推理時間對齊。 arXiv 2024，[pdf]

超越文字到影像擴散模型的對齊

• 將最佳化軌跡與擴散模型對齊以產生約束設計。 NeurIPS 2023，[pdf]
• AlignDiff：透過行為可自訂的擴散模型來調整不同的人類偏好。 ICLR 2024，[pdf]
• HIVE：利用人類回饋進行教學視覺編輯。 CVPR 2024，[pdf]
• InstructVideo：透過人類回饋指導影片擴散模型。 CVPR 2024，[pdf]
• DreamReward：具有人類偏好的文本到 3D 生成。 arXiv 2024，[pdf]
• 對齊是將擴散模型應用於逆合成的關鍵。 arXiv 2024，[pdf]
• 透過獎勵梯度進行視訊擴散對齊。 arXiv 2024，[pdf]
• 將目標感知分子擴散模型與精確能量最佳化結合。 arXiv 2024，[pdf]
• VideoRepair：透過錯位評估和局部細化來改進文字到影片的生成。 arXiv 2024，[pdf]

基準和評估

• DALL-Eval：探索文字到圖像生成轉換器的推理技能和社會偏見。 ICCV 2023，[pdf]
• 人類偏好評分：更好地將文字到圖像模型與人類偏好保持一致。 ICCV 2023，[pdf]
• ImageReward：學習並評估人類對文字到圖像生成的偏好。 NeurIPS 2023，[pdf]
• Pick-a-Pic：用於產生文字到圖像的使用者偏好的開放資料集。 NeurIPS 2023，[pdf]
• LLMScore：揭示大型語言模型在文字到影像合成評估中的威力。 NeurIPS 2023，[pdf]
• VPGen 和 VPEval：用於文字到影像生成和評估的視覺化程式設計。 NeurIPS 2023，[pdf]
• 人類偏好評分 v2：評估文字到圖像合成的人類偏好的可靠基準。 arXiv 2023，[pdf]
• GenEval：用於評估文字到圖像對齊的以物件為中心的框架。 NeurIPS 2023 資料集與基準，[pdf]
• 文字到圖像模型的整體評估。 NeurIPS 2023，[pdf]
• 社會獎勵：透過線上創意社群的百萬用戶回饋評估和增強生成式人工智慧。 ICLR 2024，[pdf]
• 用於文字到圖像生成的豐富人類回饋。 CVPR 2024，[pdf]
• 學習文字到圖像生成的多維人類偏好。 CVPR 2024，[pdf]
• 多模態大語言模型使文字到圖像生成模型更好地對齊。 NeurIPS 2024，[pdf]
• 測量擴散模型中的風格相似度。 arXiv 2024，[pdf]

人類對齊的基礎

偏好建模

• 不完全區組設計的秩分析：I.配對比較法。生物計量學 1952，[pdf]
• 個人選擇行為。約翰威利 1959，[pdf]
• 排列分析。皇家統計學會雜誌。 C 系列（應用統計）1975 年，[pdf]
• 使用分區偏好學習排序：Plackett-Luce 模型的快速估計。 AISTATS 2021，[pdf]
• 人類對學習獎勵函數的偏好模型。 arXiv 2022，[pdf]
• 超越人工智慧調整的偏好。 arXiv 2024，[pdf]

RLHF

• 訓練語言模型以遵循人類回饋的指令。 NeurIPS 2022，[pdf]
• 憲法人工智慧：人工智慧回饋的無害性。 arXiv 2022，[pdf]
• RRHF：將語言模型與人類回饋保持一致的回應進行排名，不流淚。 NeurIPS 2023，[pdf]
• RAFT：產生基礎模型對齊的獎勵排名微調。 TMLR 2024，[pdf]
• RLAIF 與 RLHF：透過人工智慧回饋擴展人類回饋的強化學習。 ICML 2024，[pdf]
• 回歸基礎：重新審視法學碩士中從人類回饋中學習的強化風格優化。 ACL 2024，[pdf]

資料保護組織

• 直接偏好最佳化：您的語言模型實際上是一個獎勵模型。 NeurIPS 2023，[pdf]
• 人類對齊的偏好排名優化。 AAAI 2024，[pdf]
• 理解人類偏好學習的一般理論範式。 AISTATS 2024，[pdf]
• KTO：模型對齊作為前景理論最佳化。 ICML 2024，[pdf]
• LiPO：透過學習排序進行清單偏好最佳化。 arXiv 2024，[pdf]
• ORPO：沒有參考模型的整體偏好最佳化。 arXiv 2024，[pdf]

擴散對準的潛在挑戰與機遇

• 獎勵模型過度優化的縮放法則。 ICML 2023，[pdf]
• 深度學習角度的對齊問題。 ICLR 2024，[pdf]
• 超越反向 KL：利用不同的散度約束推廣直接偏好最佳化。 ICLR 2024，[pdf]
• 納許從人類回饋中學習。 ICML 2024，[pdf]
• 從人類回饋中迭代偏好學習：KL 限制下 RLHF 的理論與實踐的橋樑。 ICML 2024，[pdf]
• 從人類回饋中獲得強化學習的免費密集獎勵。 ICML 2024，[pdf]
• 立場：多元化聯盟的路線圖。 ICML 2024，[pdf]
• 透過修剪和低階修改評估安全對齊的脆弱性。 ICML 2024，[pdf]
• MaxMin-RLHF：與不同的人類偏好保持一致。 ICML 2024，[pdf]
• 情境獎勵：具有動態偏好調整的基礎模型的多目標調整。 ICML 2024，[pdf]
• 獎勵模型學習與直接策略最佳化：根據人類偏好進行學習的比較分析。 ICML 2024，[pdf]
• 廣義偏好最佳化：離線對齊的統一方法。 ICML 2024，[pdf]
• 透過線上偏好優化對大型語言模型進行人類調整。 ICML 2024，[pdf]
• 了解與人類回饋保持一致的學習動態。 ICML 2024，[pdf]
• 立場：社會選擇應該指導人工智慧在處理多樣化的人類回饋時保持一致。 ICML 2024，[pdf]
• DPO 是否比 PPO 更適合 LLM 銜接？一項綜合研究。 ICML 2024，[pdf]
• BOND：將法學碩士與 Best-of-N Distillation 結合。 arXiv 2024，[pdf]
• 面對擴散模型的獎勵過度最佳化：歸納偏差和首要偏差的視角，[pdf]

引用

如果您發現論文清單對您的研究有用，非常歡迎您引用我們關於該主題的調查論文！

 @article{liu2024alignment,
  title = {Alignment of Diffusion Models: Fundamentals, Challenges, and Future},
  author = {Liu, Buhua and Shao, Shitong and Li, Bao and Bai, Lichen, and Xu, Zhiqiang and Xiong, Haoyi and Kwok, James and Helal, Sumi and Xie, Zeke},
  journal = {arXiv preprint arXiv 2024.07253},
  year = {2024}
}