qdf

ความหลากหลายด้านคุณภาพผ่านการตอบรับจากมนุษย์

หน้าโครงการ | กระดาษ | สาธิต (ใหม่) | พูดคุย | บทช่วยสอน | อ้างอิง

การใช้งาน Python อย่างเป็นทางการของความหลากหลายด้านคุณภาพผ่านคำติชมของมนุษย์: สู่การเพิ่มประสิทธิภาพความหลากหลายที่ขับเคลื่อนด้วยปลายเปิด (ICML 2024 และจุดเด่นที่ NeurIPS 2023 ALOE Workshop)

หลี่ติง, เจนนี่ จาง, เจฟฟ์ คลูน, ลี สเปคเตอร์, โจเอล เลห์แมน

TL; DR: QDHF ปรับปรุงอัลกอริธึม QD โดยการอนุมานตัวชี้วัดความหลากหลายจากการตัดสินของมนุษย์เกี่ยวกับความคล้ายคลึงกัน เหนือกว่าวิธีการล้ำสมัยในการค้นพบความหลากหลายอัตโนมัติในงานหุ่นยนต์และ RL และปรับปรุงประสิทธิภาพในงานสร้างแบบปลายเปิดอย่างมีนัยสำคัญ

QDHF (ขวา) ปรับปรุงความหลากหลายในผลลัพธ์การสร้างข้อความเป็นรูปภาพ เมื่อเทียบกับ N ที่ดีที่สุด (ซ้าย) โดยใช้ Stable Diffusion

อัพเดท

• 24-06-2024 : การเปิดตัว QDHF Gradio Demo บน Hugging Face
• 14-03-2024 : เปิดตัวบทช่วยสอน QDHF ใน pyribs
• 13-12-2566 : การเปิดตัว Codebase ครั้งแรก

การสาธิต (ใหม่)

เราได้เปิดตัว Gradio Demo บน Hugging Face อินเทอร์เฟซที่ใช้งานง่ายนี้ช่วยให้สำรวจ QDHF ได้อย่างง่ายดายโดยไม่ต้องมีข้อกำหนดในการเขียนโค้ด ขอขอบคุณเป็นพิเศษสำหรับ Jenny Zhang สำหรับการมีส่วนร่วมของเธอ!

บทช่วยสอน

เราได้เผยแพร่บทช่วยสอน: การผสมผสานคำติชมของมนุษย์เข้ากับความหลากหลายด้านคุณภาพสำหรับการสร้างข้อความเป็นรูปภาพที่หลากหลาย ร่วมกับทีมงาน pyribs บทช่วยสอนนี้มี QDHF เวอร์ชันน้ำหนักเบาและทำงานบน Google Colab ในเวลาประมาณ 1 ชั่วโมง เจาะลึกบทช่วยสอนเพื่อสำรวจว่า QDHF ปรับปรุงโมเดล GenAI ด้วยการตอบสนองที่หลากหลายและมีคุณภาพสูง และนำข้อมูลเชิงลึกเหล่านี้ไปใช้กับโครงการของคุณได้อย่างไร

ความต้องการ

หากต้องการติดตั้งข้อกำหนด ให้รัน:

 pip install -r requirements.txt

การใช้งาน

สำหรับการทดสอบแต่ละครั้ง เราจะจัดเตรียมสคริปต์ main.py เพื่อดำเนินการทดสอบ ตัวอย่างเช่น หากต้องการรันการทดสอบแขนหุ่นยนต์ ให้รัน:

 cd arm
python3 main.py

แทนที่ arm ด้วยชื่อของการทดสอบที่คุณต้องการเรียกใช้

การอ้างอิง

หากคุณพบว่างานของเราหรือสื่อใดๆ ของเรามีประโยชน์ โปรดอ้างอิงรายงานของเรา:

 @inproceedings{
      ding2024quality,
      title={Quality Diversity through Human Feedback: Towards Open-Ended Diversity-Driven Optimization},
      author={Li Ding and Jenny Zhang and Jeff Clune and Lee Spector and Joel Lehman},
      booktitle={Forty-first International Conference on Machine Learning},
      year={2024},
      url={https://openreview.net/forum?id=9zlZuAAb08}
}

ใบอนุญาต

โครงการนี้อยู่ภายใต้ใบอนุญาต MIT

รับทราบ

โครงสร้างหลักของโค้ดนี้ได้รับการแก้ไขจาก DQD การทดลองแต่ละครั้งจะมี pyribs เวอร์ชันแก้ไขของตัวเอง ซึ่งเป็นไลบรารีการเพิ่มประสิทธิภาพความหลากหลายด้านคุณภาพ การทดลองนำทางเขาวงกตใช้ Kheperax เวอร์ชันดัดแปลง การทดลอง LSI ใช้ Stable Diffusion (กอดหน้า/ดิฟฟิวเซอร์), OpenAI CLIP และ DreamSim รับทราบการระดมทุนมีการเปิดเผยในเอกสาร