self refine

Auto-raffinement : raffinement itératif avec auto-rétroaction

Avec Self-Refine, les LLM peuvent générer des commentaires sur leur travail, les utiliser pour améliorer le résultat et répéter ce processus.

Site Web | Papier

---

Table des matières

• Mises à jour
• Installation
• Premiers pas avec la génération d'acronymes
• Génération de réponses au dialogue
• Amélioration de la lisibilité du code
• Commune
• GSM-8k
• Japper
• TARTE
• Configuration générale
• Citation

---

Mises à jour

• Novembre 2023 : ajout d'exemples et de collaborations d'auto-raffinement visuel. Utilisez GPT4-V pour écrire du code tikz pour les diagrammes et améliorez-les de manière itérative.

Exemple de théorème de Stokes

Exemple de licorne

Installation

• Nous utilisons prompt-lib pour interroger les LLM. Vous pouvez installer prompt-lib en exécutant les commandes suivantes :

git clone https://github.com/reasoning-machines/prompt-lib
pip install prompt-lib/

En fonction de vos paramètres par défaut, vous souhaiterez peut-être utiliser ce qui suit pour définir un PYTHONPATH :

 export PYTHONPATH= " .:../:.:src:../:../../:.:prompt-lib " 

Premiers pas avec la génération d'acronymes

python -u src/acronym/run.py " Using language models of code for few-shot commonsense "

• Puisque nous échantillonnons avec une température de 0,7, vous obtiendrez des résultats différents à chaque fois que vous exécuterez la commande ci-dessus.

 0 INIT > Using language models of code for few - shot commonsense

0 GEN > CLoCK
0 SCORES > * Ease of pronunciation : CLoCK is pronounced " clah-k " . This is easy acronym to pronounce . 4 / 5 
* Ease of spelling : CLoCK is easy to spell . 5 / 5 
* Relation to title : CLoCK stands for " Code Language Models of Commonsense Knowledge " which is related to the title . 5 / 5 
* Positive connotation : CLoCK is a positive acronym . It implies accuracy and efficiency . 5 / 5 
* Well - known : CLoCK is not a well - known acronym . 2 / 5

* Total score : 21 / 25

1 GEN > CMNSC
1 SCORES > * Ease of pronunciation : CMNSC is pronounced " see-min-es-see " . This is a difficult acronym to pronounce . 1 / 5 
* Ease of spelling : CMNSC is difficult to spell . 1 / 5 
* Relation to title : CMNSC stands for " Commonsense " which is related to the title . 4 / 5 
* Positive connotation : CMNSC is a neutral acronym . 3 / 5 
* Well - known : CMNSC is not a well - known acronym . 1 / 5

* Total score : 10 / 25

2 GEN > COMMIT
2 SCORES > * Ease of pronunciation : COMMIT is pronounced " com-mit " . This is an easy acronym to pronounce . 4 / 5
* Ease of spelling : COMMIT is easy to spell . 5 / 5
* Relation to title : COMMIT stands for " Commonsense Model of Code for Intuitive Training " which is related to the title . 5 / 5 
* Positive connotation : COMMIT is a positive acronym . It implies commitment and dedication . 5 / 5
* Well - known : COMMIT is not a well - known acronym . 2 / 5

* Total score : 21 / 25 

---

Génération de réponses au dialogue

PYTHONPATH= " . " python -u src/responsegen/run.py --output < OUTPUT FILE > --size < DATA SIZE >

• Utilisez la taille 0 pour l'exécution sur toutes les instances de test

---

Amélioration de la lisibilité du code

• Remarque : Veuillez décompresser 'data/tasks/codeclean/code_readability/codenet-python-train.jsonl.zip' avant d'exécuter les commandes suivantes !

• En cours d'exécution:

PYTHONPATH= " . " python -u src/readability/readability.py --output < OUTPUT FILE >

• Évaluation:

PYTHONPATH= " . " python -u src/readability/{count_comment | count_function | count_meaningful_var}.py --file < INPUT FILE > 

---

Commune

• Nous utilisons une version dure de commongen. Les données se trouvent dans data/prompt/commongen . Vous pouvez télécharger les données en exécutant les commandes suivantes :

python -u src/commongen/run.py cmd stair bubble team dryer puppy aliens cat 

---

GSM-8k

• Pour exécuter la tâche GSM-8k :

python -u src/gsm/run.py 

• Les sorties seront enregistrées dans data/tasks/gsm/gsm_outputs.jsonl

• Pour évaluer les résultats :

python src/gsm/gsm_selfref_eval.py --path  data/tasks/gsm/gsm_outputs.jsonl

• Le script d'évaluation générera également un rapport ( data/tasks/gsm/gsm_outputs.jsonl.reports.txt ) montrant des exemples de générations erronées, de commentaires et de générations de commentaires affinés.

---

Japper

• Pour exécuter la tâche Yelp :

python -u src/sentiment_transfer_sr/run.py data/tasks/yelp/yelp-extreme.jso
nl 4 none

• Les sorties seront enregistrées dans data/tasks/yelp/

---

TARTE

• Pour exécuter la tâche PIE :

python -u src/pie/run.py --slow_programs_file data/tasks/pie/codenet-python-test-1k.jsonl --max_attempts 4 --outfile data/tasks/pie/output --feedback_type rich

• Pour les détails de l’évaluation, veuillez consulter docs/pie_eval.md.

---

Configuration générale

• Chaque tâche comporte trois types d'invites différents :

1. Init : utilisé pour initialiser la tâche. C'est ainsi que la sortie initiale est générée.

2. Feedback : utilisé pour obtenir un feedback du modèle sur les résultats intermédiaires.

3. Iterate : utilisé pour obtenir la prochaine itération du modèle, en fonction des commentaires.

• Chaque tâche possède un run.py qui initialise les invites et exécute la tâche.

• À titre d'exemple, les invites pour commongen sont les suivantes :

1. Invite d'initialisation :

python src/commongen/task_init.py

2. Invite de commentaires :

 python src/commongen/feedback.py

3. Itérer l'invite :

python src/commongen/task_iterate.py

Vous pouvez également consulter ces invites sur notre site Web.

Citation

@misc{madaan2023selfrefine,
      title = {Self - Refine: Iterative Refinement with Self - Feedback}, 
      author = {Aman Madaan and Niket Tandon and Prakhar Gupta and Skyler Hallinan and Luyu Gao and Sarah Wiegreffe and Uri Alon and Nouha Dziri and Shrimai Prabhumoye and Yiming Yang and Sean Welleck and Bodhisattwa Prasad Majumder and Shashank Gupta and Amir Yazdanbakhsh and Peter Clark},
      year = { 2023 },
      eprint = { 2303 . 17651 },
      archivePrefix = {arXiv},
      primaryClass = { cs . CL }
}

 organigramme LR
    Générateur -->|Initialise| Non raffiné
    Critique_1 --> Critique_fb
    ... --> Critique_fb
    Critique_k --> Critique_fb
    Critique_fb --> Non raffiné{Sortie à affiner}
    Non raffiné --> Raffineur
    Affineur --> |R : y_t, x, fb| Refined_Output{Sortie raffinée}
    Refined_Output --> |Critères d'arrêt non remplis| Non raffiné