self refine

自己調整: 自己フィードバックによる反復的な調整

Self-Refine を使用すると、LLM は自分の作業に関するフィードバックを生成し、それを使用して出力を改善し、このプロセスを繰り返すことができます。

ウェブサイト |紙

---

目次

• アップデート
• 設定
• 頭字語の生成を始める
• 対話応答の生成
• コードの可読性の向上
• コモンジェン
• GSM-8k
• Yelp
• パイ
• 一般的なセットアップ
• 引用

---

アップデート

• 2023 年 11 月: ビジュアルな自己調整サンプルとコラボを追加しました。 GPT4-V を使用して図の tikz コードを作成し、反復的に改善します。

ストークスの定理の例

ユニコーンの例

設定

• LLM のクエリには、prompt-lib を使用します。次のコマンドを実行して、 prompt-libインストールできます。

git clone https://github.com/reasoning-machines/prompt-lib
pip install prompt-lib/

デフォルト設定に応じて、次のコマンドを使用して PYTHONPATH を設定できます。

 export PYTHONPATH= " .:../:.:src:../:../../:.:prompt-lib " 

頭字語の生成を始める

python -u src/acronym/run.py " Using language models of code for few-shot commonsense "

• 温度 0.7 でサンプリングしているため、上記のコマンドを実行するたびに異なる結果が得られます。

 0 INIT > Using language models of code for few - shot commonsense

0 GEN > CLoCK
0 SCORES > * Ease of pronunciation : CLoCK is pronounced " clah-k " . This is easy acronym to pronounce . 4 / 5 
* Ease of spelling : CLoCK is easy to spell . 5 / 5 
* Relation to title : CLoCK stands for " Code Language Models of Commonsense Knowledge " which is related to the title . 5 / 5 
* Positive connotation : CLoCK is a positive acronym . It implies accuracy and efficiency . 5 / 5 
* Well - known : CLoCK is not a well - known acronym . 2 / 5

* Total score : 21 / 25

1 GEN > CMNSC
1 SCORES > * Ease of pronunciation : CMNSC is pronounced " see-min-es-see " . This is a difficult acronym to pronounce . 1 / 5 
* Ease of spelling : CMNSC is difficult to spell . 1 / 5 
* Relation to title : CMNSC stands for " Commonsense " which is related to the title . 4 / 5 
* Positive connotation : CMNSC is a neutral acronym . 3 / 5 
* Well - known : CMNSC is not a well - known acronym . 1 / 5

* Total score : 10 / 25

2 GEN > COMMIT
2 SCORES > * Ease of pronunciation : COMMIT is pronounced " com-mit " . This is an easy acronym to pronounce . 4 / 5
* Ease of spelling : COMMIT is easy to spell . 5 / 5
* Relation to title : COMMIT stands for " Commonsense Model of Code for Intuitive Training " which is related to the title . 5 / 5 
* Positive connotation : COMMIT is a positive acronym . It implies commitment and dedication . 5 / 5
* Well - known : COMMIT is not a well - known acronym . 2 / 5

* Total score : 21 / 25 

---

対話応答の生成

PYTHONPATH= " . " python -u src/responsegen/run.py --output < OUTPUT FILE > --size < DATA SIZE >

• すべてのテスト インスタンスでの実行にはサイズ 0 を使用します

---

コードの可読性の向上

• 注: 次のコマンドを実行する前に、「data/tasks/codeclean/code_readability/codenet-python-train.jsonl.zip」を解凍してください。

• 実行中:

PYTHONPATH= " . " python -u src/readability/readability.py --output < OUTPUT FILE >

• 評価：

PYTHONPATH= " . " python -u src/readability/{count_comment | count_function | count_meaningful_var}.py --file < INPUT FILE > 

---

コモンジェン

• Commongen のハード バージョンを使用します。データはdata/prompt/commongenにあります。次のコマンドを実行してデータをダウンロードできます。

python -u src/commongen/run.py cmd stair bubble team dryer puppy aliens cat 

---

GSM-8k

• GSM-8k タスクを実行するには:

python -u src/gsm/run.py 

• 出力はdata/tasks/gsm/gsm_outputs.jsonlに保存されます。

• 出力を評価するには:

python src/gsm/gsm_selfref_eval.py --path  data/tasks/gsm/gsm_outputs.jsonl

• 評価スクリプトは、間違った生成、フィードバック、および調整されたフィードバック生成の例を示すレポート ( data/tasks/gsm/gsm_outputs.jsonl.reports.txt ) も生成します。

---

Yelp

• Yelp タスクを実行するには:

python -u src/sentiment_transfer_sr/run.py data/tasks/yelp/yelp-extreme.jso
nl 4 none

• 出力はdata/tasks/yelp/に保存されます。

---

パイ

• PIE タスクを実行するには:

python -u src/pie/run.py --slow_programs_file data/tasks/pie/codenet-python-test-1k.jsonl --max_attempts 4 --outfile data/tasks/pie/output --feedback_type rich

• 評価の詳細については、docs/pie_eval.md を参照してください。

---

一般的なセットアップ

• 各タスクには 3 つの異なるタイプのプロンプトがあります。

1. Init : タスクを初期化するために使用されます。これが初期出力の生成方法です。

2. Feedback : 中間結果についてモデルからフィードバックを取得するために使用されます。

3. Iterate : フィードバックに基づいてモデルから次の反復を取得するために使用されます。

• すべてのタスクには、プロンプトを初期化してタスクを実行するrun.pyがあります。

• 例として、commongen のプロンプトは次のとおりです。

1. 初期化プロンプト:

python src/commongen/task_init.py

2. フィードバック プロンプト:

 python src/commongen/feedback.py

3. プロンプトを反復します:

python src/commongen/task_iterate.py

これらのプロンプトは当社の Web サイトでもご覧いただけます。

引用

@misc{madaan2023selfrefine,
      title = {Self - Refine: Iterative Refinement with Self - Feedback}, 
      author = {Aman Madaan and Niket Tandon and Prakhar Gupta and Skyler Hallinan and Luyu Gao and Sarah Wiegreffe and Uri Alon and Nouha Dziri and Shrimai Prabhumoye and Yiming Yang and Sean Welleck and Bodhisattwa Prasad Majumder and Shashank Gupta and Amir Yazdanbakhsh and Peter Clark},
      year = { 2023 },
      eprint = { 2303 . 17651 },
      archivePrefix = {arXiv},
      primaryClass = { cs . CL }
}

フローチャート LR
    ジェネレータ -->|初期化|洗練されていない
    Critic_1 --> Critic_fb
    ... --> Critique_fb
    Critic_k --> Critic_fb
    Critique_fb --> 未精製{絞り込むための出力}
    未精製 --> 精製剤
    リファイナー --> |R: y_t, x, fb| Refined_Output{洗練された出力}
    Refined_Output --> |停止基準が満たされていません|洗練されていない