self refine

Autorrefinamiento: refinamiento iterativo con autorretroalimentación

Con Self-Refine, los LLM pueden generar comentarios sobre su trabajo, utilizarlos para mejorar el resultado y repetir este proceso.

Sitio web | Papel

---

Tabla de contenido

• Actualizaciones
• Configuración
• Primeros pasos con la generación de acrónimos
• Generación de respuesta al diálogo
• Mejora de la legibilidad del código
• común
• GSM-8k
• Gañido
• PASTEL
• Configuración general
• Citación

---

Actualizaciones

• Noviembre de 2023 : Se agregaron colaboraciones y ejemplos visuales de autorrefinamiento. Utilice GPT4-V para escribir código tikz para diagramas y mejorarlos de forma iterativa.

Ejemplo del teorema de Stokes

Ejemplo de unicornio

Configuración

• Usamos Prompt-lib para consultar LLM. Puede instalar prompt-lib ejecutando los siguientes comandos:

git clone https://github.com/reasoning-machines/prompt-lib
pip install prompt-lib/

Dependiendo de su configuración predeterminada, es posible que desee utilizar lo siguiente para configurar un PYTHONPATH:

 export PYTHONPATH= " .:../:.:src:../:../../:.:prompt-lib " 

Primeros pasos con la generación de acrónimos

python -u src/acronym/run.py " Using language models of code for few-shot commonsense "

• Dado que tomamos muestras con una temperatura de 0,7, obtendrá resultados diferentes cada vez que ejecute el comando anterior.

 0 INIT > Using language models of code for few - shot commonsense

0 GEN > CLoCK
0 SCORES > * Ease of pronunciation : CLoCK is pronounced " clah-k " . This is easy acronym to pronounce . 4 / 5 
* Ease of spelling : CLoCK is easy to spell . 5 / 5 
* Relation to title : CLoCK stands for " Code Language Models of Commonsense Knowledge " which is related to the title . 5 / 5 
* Positive connotation : CLoCK is a positive acronym . It implies accuracy and efficiency . 5 / 5 
* Well - known : CLoCK is not a well - known acronym . 2 / 5

* Total score : 21 / 25

1 GEN > CMNSC
1 SCORES > * Ease of pronunciation : CMNSC is pronounced " see-min-es-see " . This is a difficult acronym to pronounce . 1 / 5 
* Ease of spelling : CMNSC is difficult to spell . 1 / 5 
* Relation to title : CMNSC stands for " Commonsense " which is related to the title . 4 / 5 
* Positive connotation : CMNSC is a neutral acronym . 3 / 5 
* Well - known : CMNSC is not a well - known acronym . 1 / 5

* Total score : 10 / 25

2 GEN > COMMIT
2 SCORES > * Ease of pronunciation : COMMIT is pronounced " com-mit " . This is an easy acronym to pronounce . 4 / 5
* Ease of spelling : COMMIT is easy to spell . 5 / 5
* Relation to title : COMMIT stands for " Commonsense Model of Code for Intuitive Training " which is related to the title . 5 / 5 
* Positive connotation : COMMIT is a positive acronym . It implies commitment and dedication . 5 / 5
* Well - known : COMMIT is not a well - known acronym . 2 / 5

* Total score : 21 / 25 

---

Generación de respuesta al diálogo

PYTHONPATH= " . " python -u src/responsegen/run.py --output < OUTPUT FILE > --size < DATA SIZE >

• Utilice el tamaño 0 para ejecutar en todas las instancias de prueba.

---

Mejora de la legibilidad del código

• Nota: Descomprima 'data/tasks/codeclean/code_readability/codenet-python-train.jsonl.zip' antes de ejecutar los siguientes comandos.

• Correr:

PYTHONPATH= " . " python -u src/readability/readability.py --output < OUTPUT FILE >

• Evaluación:

PYTHONPATH= " . " python -u src/readability/{count_comment | count_function | count_meaningful_var}.py --file < INPUT FILE > 

---

común

• Usamos una versión dura de commongen. Los datos se encuentran en data/prompt/commongen . Puede descargar los datos ejecutando los siguientes comandos:

python -u src/commongen/run.py cmd stair bubble team dryer puppy aliens cat 

---

GSM-8k

• Para ejecutar la tarea GSM-8k:

python -u src/gsm/run.py 

• Las salidas se guardarán en data/tasks/gsm/gsm_outputs.jsonl

• Para evaluar los resultados:

python src/gsm/gsm_selfref_eval.py --path  data/tasks/gsm/gsm_outputs.jsonl

• El script de evaluación también generará un informe ( data/tasks/gsm/gsm_outputs.jsonl.reports.txt ) que muestra ejemplos de generaciones incorrectas, comentarios y generaciones de comentarios refinados.

---

Gañido

• Para ejecutar la tarea de Yelp:

python -u src/sentiment_transfer_sr/run.py data/tasks/yelp/yelp-extreme.jso
nl 4 none

• Los resultados se guardarán en data/tasks/yelp/

---

PASTEL

• Para ejecutar la tarea PIE:

python -u src/pie/run.py --slow_programs_file data/tasks/pie/codenet-python-test-1k.jsonl --max_attempts 4 --outfile data/tasks/pie/output --feedback_type rich

• Para obtener detalles de la evaluación, consulte docs/pie_eval.md.

---

Configuración general

• Cada tarea tiene tres tipos diferentes de indicaciones:

1. Init : se utiliza para inicializar la tarea. Así es como se genera el resultado inicial.

2. Feedback : se utiliza para obtener comentarios del modelo sobre los resultados intermedios.

3. Iterate : se utiliza para obtener la siguiente iteración del modelo, según la retroalimentación.

• Cada tarea tiene un run.py que inicializa las indicaciones y ejecuta la tarea.

• Como ejemplo, las indicaciones para commongen son las siguientes:

1. Mensaje de inicio:

python src/commongen/task_init.py

2. Aviso de comentarios:

 python src/commongen/feedback.py

3. Iterar mensaje:

python src/commongen/task_iterate.py

También puede ver estas indicaciones en nuestro sitio web.

Citación

@misc{madaan2023selfrefine,
      title = {Self - Refine: Iterative Refinement with Self - Feedback}, 
      author = {Aman Madaan and Niket Tandon and Prakhar Gupta and Skyler Hallinan and Luyu Gao and Sarah Wiegreffe and Uri Alon and Nouha Dziri and Shrimai Prabhumoye and Yiming Yang and Sean Welleck and Bodhisattwa Prasad Majumder and Shashank Gupta and Amir Yazdanbakhsh and Peter Clark},
      year = { 2023 },
      eprint = { 2303 . 17651 },
      archivePrefix = {arXiv},
      primaryClass = { cs . CL }
}

 diagrama de flujo LR
    Generador -->|Inicializa| sin refinar
    Crítica_1 --> Crítica_fb
    ... --> Crítica_fb
    Crítica_k --> Crítica_fb
    Critique_fb --> Sin refinar {Salida a refinar}
    Sin refinar --> Refinador
    Refinador --> |R: y_t, x, fb| Refined_Output{Salida refinada}
    Refined_Output --> |Criterios de detención no cumplidos| sin refinar