self refine

Selbstverfeinerung: Iterative Verfeinerung mit Selbst-Feedback

Mit Self-Refine können LLMs Feedback zu ihrer Arbeit generieren, es zur Verbesserung des Ergebnisses nutzen und diesen Prozess wiederholen.

Website | Papier

---

Inhaltsverzeichnis

• Aktualisierungen
• Aufstellen
• Erste Schritte mit der Akronymgenerierung
• Generierung von Dialogantworten
• Verbesserung der Code-Lesbarkeit
• Commongen
• GSM-8k
• Jaulen
• TORTE
• Allgemeine Einrichtung
• Zitat

---

Aktualisierungen

• Nov. 2023 : Visuelle Beispiele und Colabs zur Selbstverfeinerung hinzugefügt. Verwenden Sie GPT4-V, um Tikz-Code für Diagramme zu schreiben und diese iterativ zu verbessern.

Beispiel für den Satz von Stokes

Einhorn-Beispiel

Aufstellen

• Wir verwenden prompt-lib zum Abfragen von LLMs. Sie können prompt-lib installieren, indem Sie die folgenden Befehle ausführen:

git clone https://github.com/reasoning-machines/prompt-lib
pip install prompt-lib/

Abhängig von Ihren Standardeinstellungen möchten Sie möglicherweise Folgendes verwenden, um einen PYTHONPATH festzulegen:

 export PYTHONPATH= " .:../:.:src:../:../../:.:prompt-lib " 

Erste Schritte mit der Akronymgenerierung

python -u src/acronym/run.py " Using language models of code for few-shot commonsense "

• Da wir mit einer Temperatur von 0,7 testen, erhalten Sie bei jeder Ausführung des obigen Befehls unterschiedliche Ergebnisse.

 0 INIT > Using language models of code for few - shot commonsense

0 GEN > CLoCK
0 SCORES > * Ease of pronunciation : CLoCK is pronounced " clah-k " . This is easy acronym to pronounce . 4 / 5 
* Ease of spelling : CLoCK is easy to spell . 5 / 5 
* Relation to title : CLoCK stands for " Code Language Models of Commonsense Knowledge " which is related to the title . 5 / 5 
* Positive connotation : CLoCK is a positive acronym . It implies accuracy and efficiency . 5 / 5 
* Well - known : CLoCK is not a well - known acronym . 2 / 5

* Total score : 21 / 25

1 GEN > CMNSC
1 SCORES > * Ease of pronunciation : CMNSC is pronounced " see-min-es-see " . This is a difficult acronym to pronounce . 1 / 5 
* Ease of spelling : CMNSC is difficult to spell . 1 / 5 
* Relation to title : CMNSC stands for " Commonsense " which is related to the title . 4 / 5 
* Positive connotation : CMNSC is a neutral acronym . 3 / 5 
* Well - known : CMNSC is not a well - known acronym . 1 / 5

* Total score : 10 / 25

2 GEN > COMMIT
2 SCORES > * Ease of pronunciation : COMMIT is pronounced " com-mit " . This is an easy acronym to pronounce . 4 / 5
* Ease of spelling : COMMIT is easy to spell . 5 / 5
* Relation to title : COMMIT stands for " Commonsense Model of Code for Intuitive Training " which is related to the title . 5 / 5 
* Positive connotation : COMMIT is a positive acronym . It implies commitment and dedication . 5 / 5
* Well - known : COMMIT is not a well - known acronym . 2 / 5

* Total score : 21 / 25 

---

Generierung von Dialogantworten

PYTHONPATH= " . " python -u src/responsegen/run.py --output < OUTPUT FILE > --size < DATA SIZE >

• Verwenden Sie Größe 0 für die Ausführung auf allen Testinstanzen

---

Verbesserung der Code-Lesbarkeit

• Hinweis: Bitte entpacken Sie „data/tasks/codeclean/code_readability/codenet-python-train.jsonl.zip“, bevor Sie die folgenden Befehle ausführen!

• Läuft:

PYTHONPATH= " . " python -u src/readability/readability.py --output < OUTPUT FILE >

• Auswertung:

PYTHONPATH= " . " python -u src/readability/{count_comment | count_function | count_meaningful_var}.py --file < INPUT FILE > 

---

Commongen

• Wir verwenden eine harte Version von Commongen. Die Daten befinden sich in data/prompt/commongen . Sie können die Daten herunterladen, indem Sie die folgenden Befehle ausführen:

python -u src/commongen/run.py cmd stair bubble team dryer puppy aliens cat 

---

GSM-8k

• So führen Sie die GSM-8k-Aufgabe aus:

python -u src/gsm/run.py 

• Die Ausgaben werden in data/tasks/gsm/gsm_outputs.jsonl gespeichert

• So werten Sie die Ausgaben aus:

python src/gsm/gsm_selfref_eval.py --path  data/tasks/gsm/gsm_outputs.jsonl

• Das Bewertungsskript generiert außerdem einen Bericht ( data/tasks/gsm/gsm_outputs.jsonl.reports.txt ), der Beispiele für falsche Generationen, Feedback und verfeinerte Feedback-Generierungen zeigt.

---

Jaulen

• So führen Sie die Yelp-Aufgabe aus:

python -u src/sentiment_transfer_sr/run.py data/tasks/yelp/yelp-extreme.jso
nl 4 none

• Die Ausgaben werden in data/tasks/yelp/ gespeichert.

---

TORTE

• So führen Sie die PIE-Aufgabe aus:

python -u src/pie/run.py --slow_programs_file data/tasks/pie/codenet-python-test-1k.jsonl --max_attempts 4 --outfile data/tasks/pie/output --feedback_type rich

• Einzelheiten zur Evaluierung finden Sie unter docs/pie_eval.md.

---

Allgemeine Einrichtung

• Für jede Aufgabe gibt es drei verschiedene Arten von Eingabeaufforderungen:

1. Init : Wird zum Initialisieren der Aufgabe verwendet. Auf diese Weise wird die erste Ausgabe generiert.

2. Feedback : Wird verwendet, um Feedback vom Modell zu den Zwischenergebnissen zu erhalten.

3. Iterate : Wird verwendet, um basierend auf dem Feedback die nächste Iteration aus dem Modell abzurufen.

• Jede Aufgabe verfügt über eine run.py , die die Eingabeaufforderungen initialisiert und die Aufgabe ausführt.

• Die Eingabeaufforderungen für commongen lauten beispielsweise wie folgt:

1. Init-Eingabeaufforderung:

python src/commongen/task_init.py

2. Rückmeldungsaufforderung:

 python src/commongen/feedback.py

3. Eingabeaufforderung iterieren:

python src/commongen/task_iterate.py

Sie können diese Aufforderungen auch auf unserer Website einsehen.

Zitat

@misc{madaan2023selfrefine,
      title = {Self - Refine: Iterative Refinement with Self - Feedback}, 
      author = {Aman Madaan and Niket Tandon and Prakhar Gupta and Skyler Hallinan and Luyu Gao and Sarah Wiegreffe and Uri Alon and Nouha Dziri and Shrimai Prabhumoye and Yiming Yang and Sean Welleck and Bodhisattwa Prasad Majumder and Shashank Gupta and Amir Yazdanbakhsh and Peter Clark},
      year = { 2023 },
      eprint = { 2303 . 17651 },
      archivePrefix = {arXiv},
      primaryClass = { cs . CL }
}

 Flussdiagramm LR
    Generator ->|Initialisiert| Unraffiniert
    Kritiker_1 -> Kritik_fb
    ... --> Kritik_fb
    Kritiker_k -> Kritik_fb
    Critique_fb --> Unrefined{Output to Refine}
    Unraffiniert -> Refiner
    Refiner -> |R: y_t, x, fb| Refined_Output{Verfeinerte Ausgabe}
    Refined_Output --> |Stoppkriterien nicht erfüllt| Unraffiniert