qdf
1.0.0
李丁、張珍妮、傑夫克魯恩、李史佩克特、喬爾雷曼
TL;DR: QDHF 透過從人類對相似性的判斷中推斷多樣性指標來增強QD 演算法,超越機器人和強化學習任務中自動多樣性發現的最先進方法,並顯著提高開放式生成任務中的性能。
與使用穩定擴散的 best-of-N(左)相比,QDHF(右)提高了文字到影像生成結果的多樣性。
我們發布了 Hugging Face 的 Gradio 演示。這種用戶友好的介面可以輕鬆探索 QDHF,無需任何編碼。特別感謝張嘉妮的貢獻!
我們與 Pyribs 團隊一起發布了一個教學:將人類回饋納入品質多樣性,以實現多樣化的文字到圖像生成。本教學採用 QDHF 的輕量級版本,並在 Google Colab 上運行約 1 小時。深入學習教程,探索 QDHF 如何透過多樣化、高品質的反應來增強 GenAI 模型,並將這些見解應用到您的專案中!
若要安裝要求,請執行:
pip install -r requirements.txt
對於每個實驗,我們提供一個main.py
腳本來執行實驗。例如,要執行機械手臂實驗,請運行:
cd arm
python3 main.py
將arm
替換為您要運行的實驗的名稱。
如果您發現我們的工作或任何材料有用,請引用我們的論文:
@inproceedings{
ding2024quality,
title={Quality Diversity through Human Feedback: Towards Open-Ended Diversity-Driven Optimization},
author={Li Ding and Jenny Zhang and Jeff Clune and Lee Spector and Joel Lehman},
booktitle={Forty-first International Conference on Machine Learning},
year={2024},
url={https://openreview.net/forum?id=9zlZuAAb08}
}
該專案已獲得 MIT 許可。
程式碼的主要結構是根據DQD修改的。每個實驗都包含自己的 Pyribs 修改版本,這是一個品質多樣性優化庫。迷宮導航實驗使用了 Kheperax 的修改版本。 LSI 實驗使用穩定擴散(huggingface/diffusers)、OpenAI CLIP 和 DreamSim。文件中揭露了資助致謝資訊。