awesome alignment of diffusion models

扩散模型的惊人对齐

关于扩散模型对齐的精彩论文集。

如果您对扩散模型的对齐感兴趣，请参阅我们的调查论文“扩散模型的对齐：基础知识、挑战和未来”，这是据我们所知关于该主题的第一份调查。

我们希望与更多的研究人员一起享受探索排列和扩散模型的冒险。欢迎指正和建议。

扩散模型的对齐技术

RLHF

• ImageReward：学习和评估人类对文本到图像生成的偏好。 NeurIPS 2023，[pdf]
• DPOK：用于微调文本到图像扩散模型的强化学习，NeurIPS 2023，[pdf]
• 使用人类反馈对齐文本到图像模型。 arXiv 2023，[pdf]
• 通过奖励反向传播对齐文本到图像扩散模型。 arXiv 2023，[pdf]
• 直接微调可微奖励的扩散模型。 ICLR 2024，[pdf]
• PRDP：扩散模型大规模奖励微调的近端奖励差异预测。 CVPR 2024，[pdf]
• 扩散模型的反馈高效在线微调。 ICML 2024，[pdf]
• 连续时间扩散模型的微调作为熵正则化控制。 arXiv 2024，[pdf]
• 了解基于强化学习的扩散模型微调：教程和回顾。 arXiv 2024，[pdf]
• 将少步扩散模型与密集奖励差异学习相结合。 arXiv 2024，[pdf]

数据保护办公室

• 使用直接偏好优化的扩散模型对齐。 CVPR 2024，[pdf]
• 使用人类反馈来微调扩散模型，无需任何奖励模型。 CVPR 2024，[pdf]
• 关于将文本到图像扩散与偏好对齐的密集奖励视图。 ICML 2024，[pdf]
• 用于文本到图像生成的扩散模型的自玩微调。 NeurIPS 2024，[pdf]
• 通过优化人类效用来调整扩散模型。 arXiv 2024，[pdf]
• 步骤感知偏好优化：使偏好与每一步的去噪性能保持一致。 arXiv 2024，[pdf]
• 使用成对样本优化调整时间步长蒸馏扩散模型。 arXiv 2024，[pdf]
• 用于文本到图像生成的可扩展排名偏好优化。 arXiv 2024，[pdf]
• 通过显式去噪分布估计对扩散模型偏好对齐的去噪步骤进行优先级排序。 arXiv 2024，[pdf]

免训练隐式对齐

• 优化文本到图像生成的提示。 NeurIPS 2023，[pdf]
• RePrompt：自动提示编辑，以完善人工智能生成艺术以实现精确的表达。 CHI 2023，[pdf]
• 通过自动提示优化提高文本到图像的一致性。 TMLR 2024，[pdf]
• 文本到图像生成的动态提示优化。 CVPR 2024，[pdf]
• ReNO：通过基于奖励的噪声优化增强一步文本到图像模型。 NeurIPS 2024，[pdf]
• 通过注意力调制实现更好的文本到图像生成对齐。 arXiv 2024，[pdf]
• 并非所有噪声都是平等产生的：扩散噪声选择和优化。 arXiv 2024，[pdf]
• 具有基于软值的解码的连续和离散扩散模型中的无导数指导。 arXiv 2024，[pdf]
• 具有直接噪声优化的扩散模型的推理时间对齐。 arXiv 2024，[pdf]

超越文本到图像扩散模型的对齐

• 将优化轨迹与扩散模型对齐以生成约束设计。 NeurIPS 2023，[pdf]
• AlignDiff：通过行为可定制的扩散模型来调整不同的人类偏好。 ICLR 2024，[pdf]
• HIVE：利用人类反馈进行教学视觉编辑。 CVPR 2024，[pdf]
• InstructVideo：通过人类反馈指导视频扩散模型。 CVPR 2024，[pdf]
• DreamReward：具有人类偏好的文本到 3D 生成。 arXiv 2024，[pdf]
• 对齐是将扩散模型应用于逆合成的关键。 arXiv 2024，[pdf]
• 通过奖励梯度进行视频扩散对齐。 arXiv 2024，[pdf]
• 将目标感知分子扩散模型与精确的能量优化相结合。 arXiv 2024，[pdf]
• VideoRepair：通过错位评估和局部细化改进文本到视频的生成。 arXiv 2024，[pdf]

基准和评估

• DALL-Eval：探索文本到图像生成转换器的推理技能和社会偏见。 ICCV 2023，[pdf]
• 人类偏好评分：更好地将文本到图像模型与人类偏好保持一致。 ICCV 2023，[pdf]
• ImageReward：学习和评估人类对文本到图像生成的偏好。 NeurIPS 2023，[pdf]
• Pick-a-Pic：用于生成文本到图像的用户偏好的开放数据集。 NeurIPS 2023，[pdf]
• LLMScore：揭示大型语言模型在文本到图像合成评估中的威力。 NeurIPS 2023，[pdf]
• VPGen 和 VPEval：用于文本到图像生成和评估的可视化编程。 NeurIPS 2023，[pdf]
• 人类偏好评分 v2：评估文本到图像合成的人类偏好的可靠基准。 arXiv 2023，[pdf]
• GenEval：用于评估文本到图像对齐的以对象为中心的框架。 NeurIPS 2023 数据集和基准，[pdf]
• 文本到图像模型的整体评估。 NeurIPS 2023，[pdf]
• 社会奖励：通过在线创意社区的百万用户反馈评估和增强生成式人工智能。 ICLR 2024，[pdf]
• 用于文本到图像生成的丰富人类反馈。 CVPR 2024，[pdf]
• 学习文本到图像生成的多维人类偏好。 CVPR 2024，[pdf]
• 多模态大语言模型使文本到图像生成模型更好地对齐。 NeurIPS 2024，[pdf]
• 测量扩散模型中的风格相似性。 arXiv 2024，[pdf]

人类对齐的基础

偏好建模

• 不完全区组设计的秩分析：I.配对比较法。生物计量学 1952，[pdf]
• 个人选择行为。约翰·威利 1959，[pdf]
• 排列分析。皇家统计学会杂志。 C 系列（应用统计）1975 年，[pdf]
• 使用分区偏好学习排序：Plackett-Luce 模型的快速估计。 AISTATS 2021，[pdf]
• 人类对学习奖励函数的偏好模型。 arXiv 2022，[pdf]
• 超越人工智能调整的偏好。 arXiv 2024，[pdf]

RLHF

• 训练语言模型以遵循人类反馈的指令。 NeurIPS 2022，[pdf]
• 宪法人工智能：人工智能反馈的无害性。 arXiv 2022，[pdf]
• RRHF：对将语言模型与人类反馈保持一致的响应进行排名，不流泪。 NeurIPS 2023，[pdf]
• RAFT：生成基础模型对齐的奖励排名微调。 TMLR 2024，[pdf]
• RLAIF 与 RLHF：通过人工智能反馈扩展人类反馈的强化学习。 ICML 2024，[pdf]
• 回归基础：重新审视法学硕士中从人类反馈中学习的强化风格优化。 ACL 2024，[pdf]

数据保护办公室

• 直接偏好优化：您的语言模型实际上是一个奖励模型。 NeurIPS 2023，[pdf]
• 人类对齐的偏好排名优化。 AAAI 2024，[pdf]
• 理解人类偏好学习的一般理论范式。 AISTATS 2024，[pdf]
• KTO：模型对齐作为前景理论优化。 ICML 2024，[pdf]
• LiPO：通过学习排序进行列表偏好优化。 arXiv 2024，[pdf]
• ORPO：没有参考模型的整体偏好优化。 arXiv 2024，[pdf]

扩散对准的潜在挑战和机遇

• 奖励模型过度优化的缩放法则。 ICML 2023，[pdf]
• 深度学习角度的对齐问题。 ICLR 2024，[pdf]
• 超越反向 KL：利用不同的散度约束推广直接偏好优化。 ICLR 2024，[pdf]
• 纳什从人类反馈中学习。 ICML 2024，[pdf]
• 从人类反馈中迭代偏好学习：KL 约束下 RLHF 的理论与实践的桥梁。 ICML 2024，[pdf]
• 从人类反馈中获得强化学习的免费密集奖励。 ICML 2024，[pdf]
• 立场：多元化联盟的路线图。 ICML 2024，[pdf]
• 通过修剪和低阶修改评估安全对齐的脆弱性。 ICML 2024，[pdf]
• MaxMin-RLHF：与不同的人类偏好保持一致。 ICML 2024，[pdf]
• 上下文奖励：具有动态偏好调整的基础模型的多目标调整。 ICML 2024，[pdf]
• 奖励模型学习与直接策略优化：根据人类偏好进行学习的比较分析。 ICML 2024，[pdf]
• 广义偏好优化：离线对齐的统一方法。 ICML 2024，[pdf]
• 通过在线偏好优化对大型语言模型进行人类调整。 ICML 2024，[pdf]
• 了解与人类反馈保持一致的学习动态。 ICML 2024，[pdf]
• 立场：社会选择应该指导人工智能在处理多样化的人类反馈时保持一致。 ICML 2024，[pdf]
• DPO 是否比 PPO 更适合 LLM 衔接？一项综合研究。 ICML 2024，[pdf]
• BOND：将法学硕士与 Best-of-N Distillation 结合起来。 arXiv 2024，[pdf]
• 面对扩散模型的奖励过度优化：归纳偏差和首要偏差的视角，[pdf]

引用

如果您发现论文列表对您的研究有用，非常欢迎您引用我们关于该主题的调查论文！

 @article{liu2024alignment,
  title = {Alignment of Diffusion Models: Fundamentals, Challenges, and Future},
  author = {Liu, Buhua and Shao, Shitong and Li, Bao and Bai, Lichen, and Xu, Zhiqiang and Xiong, Haoyi and Kwok, James and Helal, Sumi and Xie, Zeke},
  journal = {arXiv preprint arXiv 2024.07253},
  year = {2024}
}