self refine

การปรับแต่งตนเอง: การปรับแต่งซ้ำพร้อมการตอบรับด้วยตนเอง

ด้วยการปรับปรุงตนเอง LLM สามารถสร้างคำติชมเกี่ยวกับงานของพวกเขา ใช้เพื่อปรับปรุงผลลัพธ์ และทำซ้ำขั้นตอนนี้

เว็บไซต์ | กระดาษ

---

สารบัญ

• อัพเดท
• ตั้งค่า
• เริ่มต้นใช้งานการสร้างคำย่อ
• การสร้างการตอบสนองของบทสนทนา
• การปรับปรุงความสามารถในการอ่านโค้ด
• สามัญ
• GSM-8k
• ร้องเอ๋ง
• พาย
• การตั้งค่าทั่วไป
• การอ้างอิง

---

อัพเดท

• พ.ย. 2023 : เพิ่มตัวอย่างการปรับแต่งตัวเองด้วยภาพและ Colab ใช้ GPT4-V เพื่อเขียนโค้ด tikz สำหรับไดอะแกรม และปรับปรุงซ้ำๆ

ตัวอย่างทฤษฎีบทของสโตกส์

ตัวอย่างยูนิคอร์น

ตั้งค่า

• เราใช้ prompt-lib สำหรับการสืบค้น LLM คุณสามารถติดตั้ง prompt-lib ได้โดยการรันคำสั่งต่อไปนี้:

git clone https://github.com/reasoning-machines/prompt-lib
pip install prompt-lib/

ขึ้นอยู่กับการตั้งค่าเริ่มต้นของคุณ คุณอาจต้องการใช้สิ่งต่อไปนี้เพื่อตั้งค่า PYTHONPATH:

 export PYTHONPATH= " .:../:.:src:../:../../:.:prompt-lib " 

เริ่มต้นใช้งานการสร้างคำย่อ

python -u src/acronym/run.py " Using language models of code for few-shot commonsense "

• เนื่องจากเราสุ่มตัวอย่างด้วยอุณหภูมิ 0.7 คุณจะได้รับผลลัพธ์ที่แตกต่างกันทุกครั้งที่คุณรันคำสั่งข้างต้น

 0 INIT > Using language models of code for few - shot commonsense

0 GEN > CLoCK
0 SCORES > * Ease of pronunciation : CLoCK is pronounced " clah-k " . This is easy acronym to pronounce . 4 / 5 
* Ease of spelling : CLoCK is easy to spell . 5 / 5 
* Relation to title : CLoCK stands for " Code Language Models of Commonsense Knowledge " which is related to the title . 5 / 5 
* Positive connotation : CLoCK is a positive acronym . It implies accuracy and efficiency . 5 / 5 
* Well - known : CLoCK is not a well - known acronym . 2 / 5

* Total score : 21 / 25

1 GEN > CMNSC
1 SCORES > * Ease of pronunciation : CMNSC is pronounced " see-min-es-see " . This is a difficult acronym to pronounce . 1 / 5 
* Ease of spelling : CMNSC is difficult to spell . 1 / 5 
* Relation to title : CMNSC stands for " Commonsense " which is related to the title . 4 / 5 
* Positive connotation : CMNSC is a neutral acronym . 3 / 5 
* Well - known : CMNSC is not a well - known acronym . 1 / 5

* Total score : 10 / 25

2 GEN > COMMIT
2 SCORES > * Ease of pronunciation : COMMIT is pronounced " com-mit " . This is an easy acronym to pronounce . 4 / 5
* Ease of spelling : COMMIT is easy to spell . 5 / 5
* Relation to title : COMMIT stands for " Commonsense Model of Code for Intuitive Training " which is related to the title . 5 / 5 
* Positive connotation : COMMIT is a positive acronym . It implies commitment and dedication . 5 / 5
* Well - known : COMMIT is not a well - known acronym . 2 / 5

* Total score : 21 / 25 

---

การสร้างการตอบสนองของบทสนทนา

PYTHONPATH= " . " python -u src/responsegen/run.py --output < OUTPUT FILE > --size < DATA SIZE >

• ใช้ขนาด 0 สำหรับการรันบนอินสแตนซ์การทดสอบทั้งหมด

---

การปรับปรุงความสามารถในการอ่านโค้ด

• หมายเหตุ: โปรดแตกไฟล์ 'data/tasks/codeclean/code_readability/codenet-python-train.jsonl.zip' ก่อนที่จะรันคำสั่งต่อไปนี้!

• วิ่ง:

PYTHONPATH= " . " python -u src/readability/readability.py --output < OUTPUT FILE >

• การประเมิน:

PYTHONPATH= " . " python -u src/readability/{count_comment | count_function | count_meaningful_var}.py --file < INPUT FILE > 

---

สามัญ

• เราใช้ commongen เวอร์ชันยาก ข้อมูลอยู่ใน data/prompt/commongen คุณสามารถดาวน์โหลดข้อมูลได้โดยการรันคำสั่งต่อไปนี้:

python -u src/commongen/run.py cmd stair bubble team dryer puppy aliens cat 

---

GSM-8k

• ในการรันงาน GSM-8k:

python -u src/gsm/run.py 

• ผลลัพธ์จะถูกบันทึกไว้ใน data/tasks/gsm/gsm_outputs.jsonl

• ในการประเมินผลลัพธ์:

python src/gsm/gsm_selfref_eval.py --path  data/tasks/gsm/gsm_outputs.jsonl

• สคริปต์การประเมินผลจะสร้างรายงาน ( data/tasks/gsm/gsm_outputs.jsonl.reports.txt ) ที่แสดงตัวอย่างของรุ่นที่ไม่ถูกต้อง ข้อเสนอแนะ และการสร้างข้อเสนอแนะที่ได้รับการปรับปรุง

---

ร้องเอ๋ง

• ในการรันงาน Yelp:

python -u src/sentiment_transfer_sr/run.py data/tasks/yelp/yelp-extreme.jso
nl 4 none

• ผลลัพธ์จะถูกบันทึกไว้ใน data/tasks/yelp/

---

พาย

• ในการรันงาน PIE:

python -u src/pie/run.py --slow_programs_file data/tasks/pie/codenet-python-test-1k.jsonl --max_attempts 4 --outfile data/tasks/pie/output --feedback_type rich

• สำหรับรายละเอียดการประเมิน โปรดดู docs/pie_eval.md

---

การตั้งค่าทั่วไป

• แต่ละงานมีพร้อมท์สามประเภทที่แตกต่างกัน:

1. Init : ใช้เพื่อเริ่มต้นงาน นี่คือวิธีการสร้างเอาต์พุตเริ่มต้น

2. Feedback : ใช้เพื่อรับผลตอบรับจากแบบจำลองเกี่ยวกับผลลัพธ์ระดับกลาง

3. Iterate : ใช้เพื่อรับการวนซ้ำครั้งถัดไปจากโมเดลตามคำติชม

• ทุกงานมี run.py ที่เริ่มต้นพร้อมท์และรันงาน

• ตามตัวอย่าง พรอมต์สำหรับ commongen มีดังนี้:

1. พรอมต์เริ่มต้น:

python src/commongen/task_init.py

2. ข้อเสนอแนะ:

 python src/commongen/feedback.py

3. ทำซ้ำพร้อมท์:

python src/commongen/task_iterate.py

คุณยังสามารถดูข้อความแจ้งเหล่านี้ได้บนเว็บไซต์ของเรา

การอ้างอิง

@misc{madaan2023selfrefine,
      title = {Self - Refine: Iterative Refinement with Self - Feedback}, 
      author = {Aman Madaan and Niket Tandon and Prakhar Gupta and Skyler Hallinan and Luyu Gao and Sarah Wiegreffe and Uri Alon and Nouha Dziri and Shrimai Prabhumoye and Yiming Yang and Sean Welleck and Bodhisattwa Prasad Majumder and Shashank Gupta and Amir Yazdanbakhsh and Peter Clark},
      year = { 2023 },
      eprint = { 2303 . 17651 },
      archivePrefix = {arXiv},
      primaryClass = { cs . CL }
}

 ผังงาน LR
    ตัวสร้าง -->|เตรียมใช้งาน| สาก
    Critic_1 --> Critique_fb
    ... --> คำวิจารณ์_fb
    Critic_k --> Critique_fb
    Critique_fb --> ไม่ผ่านการขัดเกลา {เอาท์พุตเพื่อปรับแต่ง}
    ไม่ขัดสี --> เครื่องขัดสี
    ตัวกลั่น --> |R: y_t, x, fb| Refined_Output{เอาต์พุตที่กลั่นแล้ว}
    Refined_Output --> | ไม่ตรงตามเกณฑ์การหยุด | สาก