self refine

自我細化：透過自我回饋進行迭代細化

透過 Self-Refine，法學碩士可以產生有關其工作的回饋，用它來改進輸出，並重複此過程。

網站 |紙

---

目錄

• 更新
• 設定
• 首字母縮寫生成入門
• 對話響應生成
• 程式碼可讀性提高
• 科蒙根
• GSM-8k
• 喊叫
• 派
• 一般設定
• 引文

---

更新

• 2023 年 11 月：新增了視覺自我優化範例和合作實驗室。使用 GPT4-V 為圖表編寫 tikz 程式碼，並迭代改進它們。

斯托克斯定理範例

獨角獸範例

設定

• 我們使用prompt-lib來查詢LLM。您可以透過執行以下命令來安裝prompt-lib ：

git clone https://github.com/reasoning-machines/prompt-lib
pip install prompt-lib/

根據您的預設設置，您可能需要使用以下命令來設定 PYTHONPATH：

 export PYTHONPATH= " .:../:.:src:../:../../:.:prompt-lib " 

首字母縮寫生成入門

python -u src/acronym/run.py " Using language models of code for few-shot commonsense "

• 由於我們使用溫度 0.7 進行採樣，因此每次執行上述命令時都會得到不同的結果。

 0 INIT > Using language models of code for few - shot commonsense

0 GEN > CLoCK
0 SCORES > * Ease of pronunciation : CLoCK is pronounced " clah-k " . This is easy acronym to pronounce . 4 / 5 
* Ease of spelling : CLoCK is easy to spell . 5 / 5 
* Relation to title : CLoCK stands for " Code Language Models of Commonsense Knowledge " which is related to the title . 5 / 5 
* Positive connotation : CLoCK is a positive acronym . It implies accuracy and efficiency . 5 / 5 
* Well - known : CLoCK is not a well - known acronym . 2 / 5

* Total score : 21 / 25

1 GEN > CMNSC
1 SCORES > * Ease of pronunciation : CMNSC is pronounced " see-min-es-see " . This is a difficult acronym to pronounce . 1 / 5 
* Ease of spelling : CMNSC is difficult to spell . 1 / 5 
* Relation to title : CMNSC stands for " Commonsense " which is related to the title . 4 / 5 
* Positive connotation : CMNSC is a neutral acronym . 3 / 5 
* Well - known : CMNSC is not a well - known acronym . 1 / 5

* Total score : 10 / 25

2 GEN > COMMIT
2 SCORES > * Ease of pronunciation : COMMIT is pronounced " com-mit " . This is an easy acronym to pronounce . 4 / 5
* Ease of spelling : COMMIT is easy to spell . 5 / 5
* Relation to title : COMMIT stands for " Commonsense Model of Code for Intuitive Training " which is related to the title . 5 / 5 
* Positive connotation : COMMIT is a positive acronym . It implies commitment and dedication . 5 / 5
* Well - known : COMMIT is not a well - known acronym . 2 / 5

* Total score : 21 / 25 

---

對話響應生成

PYTHONPATH= " . " python -u src/responsegen/run.py --output < OUTPUT FILE > --size < DATA SIZE >

• 使用大小 0 在所有測試執行個體上執行

---

程式碼可讀性提高

• 注意：在運行以下命令之前，請解壓縮“data/tasks/codeclean/code_readability/codenet-python-train.jsonl.zip”！

• 跑步：

PYTHONPATH= " . " python -u src/readability/readability.py --output < OUTPUT FILE >

• 評估：

PYTHONPATH= " . " python -u src/readability/{count_comment | count_function | count_meaningful_var}.py --file < INPUT FILE > 

---

科蒙根

• 我們使用 commongen 的硬版本。數據位於data/prompt/commongen中。您可以透過執行以下命令來下載資料：

python -u src/commongen/run.py cmd stair bubble team dryer puppy aliens cat 

---

GSM-8k

• 要運行 GSM-8k 任務：

python -u src/gsm/run.py 

• 輸出將保存在data/tasks/gsm/gsm_outputs.jsonl中

• 評估輸出：

python src/gsm/gsm_selfref_eval.py --path  data/tasks/gsm/gsm_outputs.jsonl

• 評估腳本也會產生一份報告 ( data/tasks/gsm/gsm_outputs.jsonl.reports.txt )，顯示錯誤產生、回饋和細化回饋產生的範例。

---

喊叫

• 要執行 Yelp 任務：

python -u src/sentiment_transfer_sr/run.py data/tasks/yelp/yelp-extreme.jso
nl 4 none

• 輸出將保存在data/tasks/yelp/

---

派

• 執行 PIE 任務：

python -u src/pie/run.py --slow_programs_file data/tasks/pie/codenet-python-test-1k.jsonl --max_attempts 4 --outfile data/tasks/pie/output --feedback_type rich

• 評估詳情請參閱docs/pie_eval.md。

---

一般設定

• 每個任務都有三種不同類型的提示：

1. Init ：用於初始化任務。這就是初始輸出的生成方式。

2. Feedback ：用於從模型獲取關於中間結果的回饋。

3. Iterate ：用於根據回饋從模型中取得下一次迭代。

• 每個任務都有一個run.py ，用於初始化提示並執行任務。

• 以commongen為例，提示如下：

1. 初始化提示：

python src/commongen/task_init.py

2. 回饋提示：

 python src/commongen/feedback.py

3. 迭代提示：

python src/commongen/task_iterate.py

您也可以在我們的網站上看到這些提示。

引文

@misc{madaan2023selfrefine,
      title = {Self - Refine: Iterative Refinement with Self - Feedback}, 
      author = {Aman Madaan and Niket Tandon and Prakhar Gupta and Skyler Hallinan and Luyu Gao and Sarah Wiegreffe and Uri Alon and Nouha Dziri and Shrimai Prabhumoye and Yiming Yang and Sean Welleck and Bodhisattwa Prasad Majumder and Shashank Gupta and Amir Yazdanbakhsh and Peter Clark},
      year = { 2023 },
      eprint = { 2303 . 17651 },
      archivePrefix = {arXiv},
      primaryClass = { cs . CL }
}

流程圖LR
    生成器-->|初始化|粗
    Critic_1 --> Critique_fb
    ... --> Critique_fb
    Critic_k --> Critique_fb
    Critique_fb --> 未精煉{要精煉的輸出}
    未精煉 --> 精煉者
    精煉器 --> |R: y_t, x, fb| Refined_Output{精煉輸出}
    Refined_Output --> |未符合停止條件|粗