self refine

Самоуточнение: итеративное уточнение с самообратной связью

С помощью Self-Refine LLM могут получать отзывы о своей работе, использовать их для улучшения результатов и повторять этот процесс.

Веб-сайт | Бумага

---

Оглавление

• Обновления
• Настраивать
• Начало работы с созданием сокращений
• Генерация диалоговых ответов
• Улучшение читаемости кода
• Коммонген
• GSM-8к
• Визг
• ПИРОГ
• Общая настройка
• Цитирование

---

Обновления

• Ноябрь 2023 г .: добавлены визуальные примеры самостоятельной доработки и совместные работы. Используйте GPT4-V для написания кода tikz для диаграмм и итеративного их улучшения.

Пример теоремы Стокса

Пример единорога

Настраивать

• Мы используем Prompt-Lib для запроса LLM. Вы можете установить prompt-lib , выполнив следующие команды:

git clone https://github.com/reasoning-machines/prompt-lib
pip install prompt-lib/

В зависимости от настроек по умолчанию вы можете использовать следующее для установки PYTHONPATH:

 export PYTHONPATH= " .:../:.:src:../:../../:.:prompt-lib " 

Начало работы с созданием сокращений

python -u src/acronym/run.py " Using language models of code for few-shot commonsense "

• Поскольку мы отбираем температуру 0,7, вы будете получать разные результаты каждый раз, когда запускаете приведенную выше команду.

 0 INIT > Using language models of code for few - shot commonsense

0 GEN > CLoCK
0 SCORES > * Ease of pronunciation : CLoCK is pronounced " clah-k " . This is easy acronym to pronounce . 4 / 5 
* Ease of spelling : CLoCK is easy to spell . 5 / 5 
* Relation to title : CLoCK stands for " Code Language Models of Commonsense Knowledge " which is related to the title . 5 / 5 
* Positive connotation : CLoCK is a positive acronym . It implies accuracy and efficiency . 5 / 5 
* Well - known : CLoCK is not a well - known acronym . 2 / 5

* Total score : 21 / 25

1 GEN > CMNSC
1 SCORES > * Ease of pronunciation : CMNSC is pronounced " see-min-es-see " . This is a difficult acronym to pronounce . 1 / 5 
* Ease of spelling : CMNSC is difficult to spell . 1 / 5 
* Relation to title : CMNSC stands for " Commonsense " which is related to the title . 4 / 5 
* Positive connotation : CMNSC is a neutral acronym . 3 / 5 
* Well - known : CMNSC is not a well - known acronym . 1 / 5

* Total score : 10 / 25

2 GEN > COMMIT
2 SCORES > * Ease of pronunciation : COMMIT is pronounced " com-mit " . This is an easy acronym to pronounce . 4 / 5
* Ease of spelling : COMMIT is easy to spell . 5 / 5
* Relation to title : COMMIT stands for " Commonsense Model of Code for Intuitive Training " which is related to the title . 5 / 5 
* Positive connotation : COMMIT is a positive acronym . It implies commitment and dedication . 5 / 5
* Well - known : COMMIT is not a well - known acronym . 2 / 5

* Total score : 21 / 25 

---

Генерация диалоговых ответов

PYTHONPATH= " . " python -u src/responsegen/run.py --output < OUTPUT FILE > --size < DATA SIZE >

• Используйте размер 0 для запуска всех экземпляров тестов.

---

Улучшение читаемости кода

• Примечание. Разархивируйте data/tasks/codeclean/code_readability/codenet-python-train.jsonl.zip перед выполнением следующих команд!

• Бег:

PYTHONPATH= " . " python -u src/readability/readability.py --output < OUTPUT FILE >

• Оценка:

PYTHONPATH= " . " python -u src/readability/{count_comment | count_function | count_meaningful_var}.py --file < INPUT FILE > 

---

Коммонген

• Мы используем жесткую версию commongen. Данные находятся в data/prompt/commongen . Вы можете загрузить данные, выполнив следующие команды:

python -u src/commongen/run.py cmd stair bubble team dryer puppy aliens cat 

---

GSM-8к

• Чтобы запустить задачу GSM-8k:

python -u src/gsm/run.py 

• Результаты будут сохранены в data/tasks/gsm/gsm_outputs.jsonl

• Чтобы оценить результаты:

python src/gsm/gsm_selfref_eval.py --path  data/tasks/gsm/gsm_outputs.jsonl

• Сценарий оценки также сгенерирует отчет ( data/tasks/gsm/gsm_outputs.jsonl.reports.txt ), показывающий примеры неправильных генераций, отзывов и уточненных генераций отзывов.

---

Визг

• Чтобы запустить задачу Yelp:

python -u src/sentiment_transfer_sr/run.py data/tasks/yelp/yelp-extreme.jso
nl 4 none

• Результаты будут сохранены в data/tasks/yelp/

---

ПИРОГ

• Чтобы запустить задачу PIE:

python -u src/pie/run.py --slow_programs_file data/tasks/pie/codenet-python-test-1k.jsonl --max_attempts 4 --outfile data/tasks/pie/output --feedback_type rich

• Подробности оценки см. в docs/pie_eval.md.

---

Общая настройка

• Каждая задача имеет три различных типа подсказок:

1. Init : используется для инициализации задачи. Вот как генерируется первоначальный результат.

2. Feedback : используется для получения обратной связи от модели по промежуточным результатам.

3. Iterate : используется для получения следующей итерации модели на основе обратной связи.

• У каждой задачи есть файл run.py , который инициализирует запросы и запускает задачу.

• Например, подсказки для commongen следующие:

1. Подсказка инициализации:

python src/commongen/task_init.py

2. Обратная связь:

 python src/commongen/feedback.py

3. Повторите подсказку:

python src/commongen/task_iterate.py

Вы также можете увидеть эти подсказки на нашем сайте.

Цитирование

@misc{madaan2023selfrefine,
      title = {Self - Refine: Iterative Refinement with Self - Feedback}, 
      author = {Aman Madaan and Niket Tandon and Prakhar Gupta and Skyler Hallinan and Luyu Gao and Sarah Wiegreffe and Uri Alon and Nouha Dziri and Shrimai Prabhumoye and Yiming Yang and Sean Welleck and Bodhisattwa Prasad Majumder and Shashank Gupta and Amir Yazdanbakhsh and Peter Clark},
      year = { 2023 },
      eprint = { 2303 . 17651 },
      archivePrefix = {arXiv},
      primaryClass = { cs . CL }
}

 блок-схема LR
    Генератор -->|Инициализирует| Нерафинированный
    Критик_1 --> Критик_fb
    ... --> Critique_fb
    Critic_k --> Critic_fb
    Critique_fb --> Unrefined {Вывод для уточнения}
    Нерафинированное --> Рафинер
    Рафинер --> |R: y_t, x, fb| Refined_Output{Уточненный вывод}
    Refined_Output --> |Не соблюдены критерии остановки| Нерафинированный