self refine

Self-Refine: 자체 피드백을 통한 반복적 개선

Self-Refine을 통해 LLM은 작업에 대한 피드백을 생성하고 이를 사용하여 결과를 개선하고 이 프로세스를 반복할 수 있습니다.

웹사이트 | 종이

---

목차

• 업데이트
• 설정
• 약어 생성 시작하기
• 대화 응답 생성
• 코드 가독성 향상
• 커먼겐
• GSM-8k
• 개가 깽깽 우는 소리
• 파이
• 일반 설정
• 소환

---

업데이트

• 2023년 11월 : 시각적 자체 구체화 예시 및 Colab이 추가되었습니다. GPT4-V를 사용하여 다이어그램용 tikz 코드를 작성하고 반복적으로 개선하세요.

스톡스의 정리 예

유니콘의 예

설정

• LLM을 쿼리하기 위해 프롬프트-lib를 사용합니다. 다음 명령을 실행하여 prompt-lib 설치할 수 있습니다.

git clone https://github.com/reasoning-machines/prompt-lib
pip install prompt-lib/

기본 설정에 따라 다음을 사용하여 PYTHONPATH를 설정할 수 있습니다.

 export PYTHONPATH= " .:../:.:src:../:../../:.:prompt-lib " 

약어 생성 시작하기

python -u src/acronym/run.py " Using language models of code for few-shot commonsense "

• 온도 0.7로 샘플링하므로 위 명령을 실행할 때마다 다른 결과를 얻게 됩니다.

 0 INIT > Using language models of code for few - shot commonsense

0 GEN > CLoCK
0 SCORES > * Ease of pronunciation : CLoCK is pronounced " clah-k " . This is easy acronym to pronounce . 4 / 5 
* Ease of spelling : CLoCK is easy to spell . 5 / 5 
* Relation to title : CLoCK stands for " Code Language Models of Commonsense Knowledge " which is related to the title . 5 / 5 
* Positive connotation : CLoCK is a positive acronym . It implies accuracy and efficiency . 5 / 5 
* Well - known : CLoCK is not a well - known acronym . 2 / 5

* Total score : 21 / 25

1 GEN > CMNSC
1 SCORES > * Ease of pronunciation : CMNSC is pronounced " see-min-es-see " . This is a difficult acronym to pronounce . 1 / 5 
* Ease of spelling : CMNSC is difficult to spell . 1 / 5 
* Relation to title : CMNSC stands for " Commonsense " which is related to the title . 4 / 5 
* Positive connotation : CMNSC is a neutral acronym . 3 / 5 
* Well - known : CMNSC is not a well - known acronym . 1 / 5

* Total score : 10 / 25

2 GEN > COMMIT
2 SCORES > * Ease of pronunciation : COMMIT is pronounced " com-mit " . This is an easy acronym to pronounce . 4 / 5
* Ease of spelling : COMMIT is easy to spell . 5 / 5
* Relation to title : COMMIT stands for " Commonsense Model of Code for Intuitive Training " which is related to the title . 5 / 5 
* Positive connotation : COMMIT is a positive acronym . It implies commitment and dedication . 5 / 5
* Well - known : COMMIT is not a well - known acronym . 2 / 5

* Total score : 21 / 25 

---

대화 응답 생성

PYTHONPATH= " . " python -u src/responsegen/run.py --output < OUTPUT FILE > --size < DATA SIZE >

• 모든 테스트 인스턴스에서 실행하려면 크기 0을 사용하세요.

---

코드 가독성 향상

• 참고: 다음 명령을 실행하기 전에 'data/tasks/codeclean/code_readability/codenet-python-train.jsonl.zip'의 압축을 풀어주세요!

• 달리기:

PYTHONPATH= " . " python -u src/readability/readability.py --output < OUTPUT FILE >

• 평가:

PYTHONPATH= " . " python -u src/readability/{count_comment | count_function | count_meaningful_var}.py --file < INPUT FILE > 

---

커먼겐

• 우리는 commongen의 하드 버전을 사용합니다. 데이터는 data/prompt/commongen 에 있습니다. 다음 명령을 실행하여 데이터를 다운로드할 수 있습니다.

python -u src/commongen/run.py cmd stair bubble team dryer puppy aliens cat 

---

GSM-8k

• GSM-8k 작업을 실행하려면:

python -u src/gsm/run.py 

• 출력은 data/tasks/gsm/gsm_outputs.jsonl 에 저장됩니다.

• 출력을 평가하려면 다음을 수행하십시오.

python src/gsm/gsm_selfref_eval.py --path  data/tasks/gsm/gsm_outputs.jsonl

• 또한 평가 스크립트는 잘못된 생성, 피드백 및 개선된 피드백 생성의 예를 보여주는 보고서( data/tasks/gsm/gsm_outputs.jsonl.reports.txt )를 생성합니다.

---

개가 깽깽 우는 소리

• Yelp 작업을 실행하려면:

python -u src/sentiment_transfer_sr/run.py data/tasks/yelp/yelp-extreme.jso
nl 4 none

• 출력은 data/tasks/yelp/ 에 저장됩니다.

---

파이

• PIE 작업을 실행하려면:

python -u src/pie/run.py --slow_programs_file data/tasks/pie/codenet-python-test-1k.jsonl --max_attempts 4 --outfile data/tasks/pie/output --feedback_type rich

• 평가에 대한 자세한 내용은 docs/pie_eval.md를 참조하세요.

---

일반 설정

• 각 작업에는 세 가지 유형의 프롬프트가 있습니다.

1. Init : 작업을 초기화하는 데 사용됩니다. 이것이 초기 출력이 생성되는 방식입니다.

2. Feedback : 중간 결과에 대해 모델로부터 피드백을 받는 데 사용됩니다.

3. Iterate : 피드백을 기반으로 모델에서 다음 반복을 가져오는 데 사용됩니다.

• 모든 작업에는 프롬프트를 초기화하고 작업을 실행하는 run.py 가 있습니다.

• 예를 들어 commongen에 대한 프롬프트는 다음과 같습니다.

1. 초기화 프롬프트:

python src/commongen/task_init.py

2. 피드백 프롬프트:

 python src/commongen/feedback.py

3. 프롬프트 반복:

python src/commongen/task_iterate.py

당사 웹사이트에서도 이러한 메시지를 볼 수 있습니다.

소환

@misc{madaan2023selfrefine,
      title = {Self - Refine: Iterative Refinement with Self - Feedback}, 
      author = {Aman Madaan and Niket Tandon and Prakhar Gupta and Skyler Hallinan and Luyu Gao and Sarah Wiegreffe and Uri Alon and Nouha Dziri and Shrimai Prabhumoye and Yiming Yang and Sean Welleck and Bodhisattwa Prasad Majumder and Shashank Gupta and Amir Yazdanbakhsh and Peter Clark},
      year = { 2023 },
      eprint = { 2303 . 17651 },
      archivePrefix = {arXiv},
      primaryClass = { cs . CL }
}

 흐름도 LR
    생성기 -->|초기화| 정제되지 않은
    Critic_1 --> Critique_fb
    ... --> Critique_fb
    Critic_k --> Critique_fb
    Critique_fb --> 정제되지 않음{수정할 출력}
    정제되지 않은 것 --> 정제된 것
    구체화 --> |R: y_t, x, fb| Refined_Output{정제된 출력}
    Refined_Output --> |중지 기준이 충족되지 않음| 정제되지 않은