self refine

Penyempurnaan Mandiri: Penyempurnaan Berulang dengan Umpan Balik Mandiri

Dengan Self-Refine, LLM dapat menghasilkan umpan balik atas pekerjaan mereka, menggunakannya untuk meningkatkan keluaran, dan mengulangi proses ini.

Situs web | Kertas

---

Daftar isi

• Pembaruan
• Pengaturan
• Memulai Pembuatan Akronim
• Generasi Respon Dialog
• Peningkatan Keterbacaan Kode
• umum
• GSM-8k
• Menyalak
• PAI
• Pengaturan umum
• Kutipan

---

Pembaruan

• Nov 2023 : Menambahkan contoh dan kolaborasi penyempurnaan mandiri secara visual. Gunakan GPT4-V untuk menulis kode tikz untuk diagram, dan tingkatkan secara berulang.

Contoh Teorema Stokes

Contoh Unicorn

Pengaturan

• Kami menggunakan prompt-lib untuk menanyakan LLM. Anda dapat menginstal prompt-lib dengan menjalankan perintah berikut:

git clone https://github.com/reasoning-machines/prompt-lib
pip install prompt-lib/

Tergantung pada pengaturan default Anda, Anda mungkin ingin menggunakan yang berikut ini untuk mengatur PYTHONPATH:

 export PYTHONPATH= " .:../:.:src:../:../../:.:prompt-lib " 

Memulai Pembuatan Akronim

python -u src/acronym/run.py " Using language models of code for few-shot commonsense "

• Karena kami mengambil sampel dengan suhu 0,7, Anda akan mendapatkan hasil yang berbeda setiap kali Anda menjalankan perintah di atas.

 0 INIT > Using language models of code for few - shot commonsense

0 GEN > CLoCK
0 SCORES > * Ease of pronunciation : CLoCK is pronounced " clah-k " . This is easy acronym to pronounce . 4 / 5 
* Ease of spelling : CLoCK is easy to spell . 5 / 5 
* Relation to title : CLoCK stands for " Code Language Models of Commonsense Knowledge " which is related to the title . 5 / 5 
* Positive connotation : CLoCK is a positive acronym . It implies accuracy and efficiency . 5 / 5 
* Well - known : CLoCK is not a well - known acronym . 2 / 5

* Total score : 21 / 25

1 GEN > CMNSC
1 SCORES > * Ease of pronunciation : CMNSC is pronounced " see-min-es-see " . This is a difficult acronym to pronounce . 1 / 5 
* Ease of spelling : CMNSC is difficult to spell . 1 / 5 
* Relation to title : CMNSC stands for " Commonsense " which is related to the title . 4 / 5 
* Positive connotation : CMNSC is a neutral acronym . 3 / 5 
* Well - known : CMNSC is not a well - known acronym . 1 / 5

* Total score : 10 / 25

2 GEN > COMMIT
2 SCORES > * Ease of pronunciation : COMMIT is pronounced " com-mit " . This is an easy acronym to pronounce . 4 / 5
* Ease of spelling : COMMIT is easy to spell . 5 / 5
* Relation to title : COMMIT stands for " Commonsense Model of Code for Intuitive Training " which is related to the title . 5 / 5 
* Positive connotation : COMMIT is a positive acronym . It implies commitment and dedication . 5 / 5
* Well - known : COMMIT is not a well - known acronym . 2 / 5

* Total score : 21 / 25 

---

Generasi Respon Dialog

PYTHONPATH= " . " python -u src/responsegen/run.py --output < OUTPUT FILE > --size < DATA SIZE >

• Gunakan ukuran 0 untuk menjalankan semua instance pengujian

---

Peningkatan Keterbacaan Kode

• Catatan: Harap unzip 'data/tasks/codeclean/code_readability/codenet-python-train.jsonl.zip' sebelum menjalankan perintah berikut!

• Berlari:

PYTHONPATH= " . " python -u src/readability/readability.py --output < OUTPUT FILE >

• Evaluasi:

PYTHONPATH= " . " python -u src/readability/{count_comment | count_function | count_meaningful_var}.py --file < INPUT FILE > 

---

umum

• Kami menggunakan commongen versi keras. Datanya terletak di data/prompt/commongen . Anda dapat mengunduh data dengan menjalankan perintah berikut:

python -u src/commongen/run.py cmd stair bubble team dryer puppy aliens cat 

---

GSM-8k

• Untuk menjalankan tugas GSM-8k:

python -u src/gsm/run.py 

• Outputnya akan disimpan di data/tasks/gsm/gsm_outputs.jsonl

• Untuk mengevaluasi keluaran:

python src/gsm/gsm_selfref_eval.py --path  data/tasks/gsm/gsm_outputs.jsonl

• Skrip evaluasi juga akan menghasilkan laporan ( data/tasks/gsm/gsm_outputs.jsonl.reports.txt ) yang menunjukkan contoh pembuatan umpan balik yang salah, dan pembuatan umpan balik yang disempurnakan.

---

Menyalak

• Untuk menjalankan tugas Yelp:

python -u src/sentiment_transfer_sr/run.py data/tasks/yelp/yelp-extreme.jso
nl 4 none

• Outputnya akan disimpan di data/tasks/yelp/

---

PAI

• Untuk menjalankan tugas PIE:

python -u src/pie/run.py --slow_programs_file data/tasks/pie/codenet-python-test-1k.jsonl --max_attempts 4 --outfile data/tasks/pie/output --feedback_type rich

• Untuk rincian evaluasi, silakan lihat docs/pie_eval.md.

---

Pengaturan umum

• Setiap tugas memiliki tiga jenis perintah yang berbeda:

1. Init : digunakan untuk menginisialisasi tugas. Ini adalah bagaimana keluaran awal dihasilkan.

2. Feedback : digunakan untuk mendapatkan umpan balik dari model mengenai hasil antara.

3. Iterate : digunakan untuk mendapatkan iterasi berikutnya dari model, berdasarkan feedback.

• Setiap tugas memiliki run.py yang menginisialisasi perintah dan menjalankan tugas.

• Sebagai contoh, perintah untuk commongen adalah sebagai berikut:

1. Perintah init:

python src/commongen/task_init.py

2. Umpan balik cepat:

 python src/commongen/feedback.py

3. Ulangi perintah:

python src/commongen/task_iterate.py

Anda juga dapat melihat petunjuk ini di situs web kami.

Kutipan

@misc{madaan2023selfrefine,
      title = {Self - Refine: Iterative Refinement with Self - Feedback}, 
      author = {Aman Madaan and Niket Tandon and Prakhar Gupta and Skyler Hallinan and Luyu Gao and Sarah Wiegreffe and Uri Alon and Nouha Dziri and Shrimai Prabhumoye and Yiming Yang and Sean Welleck and Bodhisattwa Prasad Majumder and Shashank Gupta and Amir Yazdanbakhsh and Peter Clark},
      year = { 2023 },
      eprint = { 2303 . 17651 },
      archivePrefix = {arXiv},
      primaryClass = { cs . CL }
}

 diagram alur LR
    Generator -->|Menginisialisasi| Mentah
    Kritikus_1 --> Kritik_fb
    ... --> Kritik_fb
    Kritik_k --> Kritik_fb
    Critique_fb --> Tidak Dimurnikan{Keluaran untuk Diperbaiki}
    Tidak dimurnikan -> Pemurni
    Pemurni --> |R: y_t, x, fb| Refined_Output{Output Halus}
    Refined_Output --> |Kriteria Penghentian Tidak Terpenuhi| Mentah