qdf

通过人工反馈实现质量多样性

项目页面|纸|演示（新）|谈话 |教程 |引用

通过人类反馈实现质量多样性的官方 Python 实现：迈向开放式多样性驱动优化（ICML 2024 和 NeurIPS 2023 ALOE 研讨会的焦点）

李丁、张珍妮、杰夫·克鲁恩、李·斯佩克特、乔尔·雷曼

TL;DR： QDHF 通过从人类对相似性的判断中推断多样性指标来增强 QD 算法，超越机器人和强化学习任务中自动多样性发现的最先进方法，并显着提高开放式生成任务中的性能。

与使用稳定扩散的 best-of-N（左）相比，QDHF（右）提高了文本到图像生成结果的多样性。

更新

• 2024-06-24 ：在 Hugging Face 上发布 QDHF Gradio 演示。
• 2024-03-14 ：pyribs 中发布 QDHF 教程。
• 2023 年 12 月 13 日：代码库首次发布。

演示（新）

我们发布了 Hugging Face 的 Gradio 演示。这种用户友好的界面可以轻松探索 QDHF，无需任何编码。特别感谢张嘉妮的贡献！

教程

我们与 Pyribs 团队一起发布了一个教程：将人类反馈纳入质量多样性，以实现多样化的文本到图像生成。本教程采用 QDHF 的轻量级版本，并在 Google Colab 上运行约 1 小时。深入学习教程，探索 QDHF 如何通过多样化、高质量的响应来增强 GenAI 模型，并将这些见解应用到您的项目中！

要求

要安装要求，请运行：

 pip install -r requirements.txt

用法

对于每个实验，我们提供一个main.py脚本来运行实验。例如，要运行机械臂实验，请运行：

 cd arm
python3 main.py

将arm替换为您要运行的实验的名称。

引文

如果您发现我们的工作或任何材料有用，请引用我们的论文：

 @inproceedings{
      ding2024quality,
      title={Quality Diversity through Human Feedback: Towards Open-Ended Diversity-Driven Optimization},
      author={Li Ding and Jenny Zhang and Jeff Clune and Lee Spector and Joel Lehman},
      booktitle={Forty-first International Conference on Machine Learning},
      year={2024},
      url={https://openreview.net/forum?id=9zlZuAAb08}
}

执照

该项目已获得 MIT 许可。

致谢

该代码的主要结构是根据DQD修改的。每个实验都包含其自己的 Pyribs 修改版本，这是一个质量多样性优化库。迷宫导航实验使用了 Kheperax 的修改版本。 LSI 实验使用稳定扩散（huggingface/diffusers）、OpenAI CLIP 和 DreamSim。文件中披露了资助致谢信息。