LM reasoning

Рассуждение в больших языковых моделях

Этот репозиторий содержит коллекцию статей и ресурсов по рассуждениям в моделях большого языка .

Более подробную информацию можно найти в документе «На пути к рассуждению в моделях большого языка: опрос».

Не стесняйтесь сообщать мне недостающие документы (проблема или запрос на получение).

Автор: Цзе Хуан @UIUC

Благодарим Кевина Чен-Чуана Чанга @UIUC, Джейсона Вея @Google Brain, Денни Чжоу @Google Brain за содержательные обсуждения и предложения.

Содержание

• Опрос
• Соответствующий опрос, позиционный документ и блог
• Техника
  • Полностью контролируемая точная настройка
  • Подсказки и контекстное обучение
  • Гибридный метод
• Оценка и анализ

Опрос

На пути к рассуждению в больших языковых моделях: опрос 20 декабря 2022 г.

Цзе Хуан, Кевин Чен-Чуан Чанг

Соответствующий опрос, позиционный документ и блог

Новые возможности больших языковых моделей 15 июня 2022 г.

Джейсон Вэй, Йи Тай, Риши Боммасани, Колин Раффел, Баррет Зоф, Себастьян Боржо, Дэни Йогатама, Маартен Босма, Денни Чжоу, Дональд Мецлер, Эд Х. Чи, Тацунори Хасимото, Ориол Виньялс, Перси Лян, Джефф Дин, Уильям Федус

Каскады языковой модели 21 июля 2022 г.

Дэвид Дохан, Винни Сюй, Айтор Левкович, Джейкоб Остин, Дэвид Бибер, Рафаэль Гонтихо Лопес, Юхуай Ву, Хенрик Михалевски, Риф А. Саурус, Яша Золь-Дикштейн, Кевин Мерфи, Чарльз Саттон

Как GPT приобретает свои способности? Отслеживание новых способностей языковых моделей до их источников 11 декабря 2022 г.

Яо Фу, Хао Пэн, Тушар Шот

Рассуждение с помощью языковой модели: опрос 19 декабря 2022 г.

Шуофэй Цяо, Исинь Оу, Нингю Чжан, Сян Чен, Юньчжи Яо, Шумин Дэн, Чуаньци Тан, Фэй Хуан, Хуацзюнь Чен

Обзор глубокого обучения для математического мышления 20 декабря 2022 г.

Пан Лу, Лян Цю, Вэньхао Ю, Шон Уэллек, Кай-Вэй Чанг

Опрос по контекстному обучению 31 декабря 2022 г.

Цинсю Дун, Лэй Ли, Дамай Дай, Цэ Чжэн, Чжиюн Ву, Баобао Чанг, Сюй Сунь, Цзинцзин Сюй, Лэй Ли, Чжифан Суй

Логические рассуждения относительно естественного языка как представления знаний: опрос 21 марта 2023 г.

Цзунлинь Ян, Синья Ду, Руй Мао, Цзиньцзе Ни, Эрик Камбрия

Рассуждение на естественном языке, опрос 26 марта 2023 г.

Фэй Ю, Хунбо Чжан, Бенью Ван

Техника

Полностью контролируемая точная настройка

В основном мы фокусируемся на методах, применимых для улучшения или выявления «рассуждений» в больших языковых моделях, таких как GPT-3 (175B).

Статьи в этой парадигме сильно различаются и обычно основаны на небольших моделях, обученных на конкретных наборах данных. Мы перечисляем здесь несколько работ для справки (т. е. список не полон). Пожалуйста, обратитесь к нашему опросу для обсуждения.

Объясните себя! Использование языковых моделей для здравого смысла 6 июня 2019 г.

Назнин Фатема Раджани, Брайан Макканн, Цайминг Сюн, Ричард Сочер

Скачок мысли: обучение предварительно обученных моделей систематическому анализу неявных знаний 11 июня 2020 г.

Алон Талмор, Ойвинд Тафьорд, Питер Кларк, Йоав Голдберг, Джонатан Берант

Измерение решения математических задач с помощью набора данных MATH 5 марта 2021 г.

Дэн Хендрикс, Коллин Бёрнс, Саурав Кадават, Акул Арора, Стивен Басарт, Эрик Танг, Дон Сонг, Джейкоб Стейнхардт

Покажите свою работу: блокноты для промежуточных вычислений с языковыми моделями 30 ноября 2021 г.

Максвелл Най, Андерс Йохан Андреассен, Гай Гур-Ари, Хенрик Михалевски, Джейкоб Остин, Дэвид Бибер, Дэвид Дохан, Айтор Левкович, Маартен Босма, Дэвид Луан, Чарльз Саттон, Аугустус Одена

FaiRR: достоверные и надежные дедуктивные рассуждения на естественном языке 19 марта 2022 г.

Сумья Саньял, Харман Сингх, Сян Рен

......

Подсказки и контекстное обучение

Цепочка подсказок мыслей и ее варианты/приложения

Цепочка мыслей, побуждающая к рассуждениям в больших языковых моделях 28 января 2022 г.

Джейсон Вэй, Сюэчжи Ван, Дейл Шуурманс, Маартен Босма, Брайан Ичтер, Фэй Ся, Эд Чи, Куок Ле, Денни Чжоу

Итеративно быстрые предварительно обученные языковые модели для цепочки мыслей 16 марта 2022 г.

Боши Ван, Сян Дэн, Хуан Сунь

Большие языковые модели — бесполезные рассуждения 24 мая 2022 г.

Такеши Кодзима, Шисян Шейн Гу, Машел Рид, Ютака Мацуо, Юсуке Ивасава

Психологически обоснованная цепочка мыслей способствует пониманию метафор в больших языковых моделях 16 сентября 2022 г.

Бен Приставски, Пол Тибодо, Ной Гудман

Языковые модели — это многоязычные логические рассуждения 6 октября 2022 г.

Фреда Ши, Мирак Сузгун, Маркус Фрайтаг, Сюэчжи Ван, Сурадж Сриватс, Соруш Восуги, Хён Вон Чунг, И Тай, Себастьян Рудер, Денни Чжоу, Дипанджан Дас, Джейсон Вэй

В больших языковых моделях мало(1) вариантов рассуждения по таблицам 13 октября 2022 г.

Вэньху Чен

Языковые модели кода мало кто изучает здравый смысл 13 октября 2022 г.

Аман Мадаан, Шуян Чжоу, Ури Алон, Имин Ян, Грэм Нойбиг

PaL: Модель программного языка 18 ноября 2022 г.

Луюй Гао*, Аман Мадаан*, Шуян Чжоу*, Ури Алон, Пэнфэй Лю, Имин Ян, Джейми Каллан, Грэм Нойбиг

Программа подсказки мыслей: отделение вычислений от рассуждений для задач численного рассуждения 22 ноября 2022 г.

Вэньху Чен, Сюэгуан Ма, Синьи Ван, Уильям В. Коэн

Переосмысление с помощью поиска: точный вывод модели большого языка 31 декабря 2022 г.

Хангфэн Хэ, Хунмин Чжан, Дэн Рот

Обоснование проектирования

Обучение проверяющих решению математических словесных задач 27 октября 2021 г.

Карл Коббе, Винит Косараджу, Мохаммад Баварян, Марк Чен, Хиву Джун, Лукаш Кайзер, Маттиас Плапперт, Джерри Творек, Джейкоб Хилтон, Рейитиро Накано, Кристофер Хессе, Джон Шульман

Самосогласованность улучшает цепочку мыслей в языковых моделях 21 марта 2022 г.

Сюэчжи Ван, Джейсон Вэй, Дэйл Шуурманс, Куок Ле, Эд Чи, Шаран Наранг, Ааканша Чоудери, Денни Чжоу

На пути к улучшению языковых моделей 6 июня 2022 г.

Ифэй Ли, Цзэци Линь, Шичжуо Чжан, Цян Фу, Бэй Чен, Цзянь-Гуан Лу, Вэйчжу Чен

Подсказки на основе сложности для многоэтапного рассуждения 3 октября 2022 г.

Яо Фу, Хао Пэн, Ашиш Сабхарвал, Питер Кларк, Тушар Хот

Автоматическая цепочка мыслей в моделях большого языка 7 октября 2022 г.

Чжуошэн Чжан, Астон Чжан, Му Ли, Алекс Смола

Обучение алгоритмическому мышлению посредством контекстного обучения 15 ноября 2022 г.

Хэтти Чжоу, Азаде Нова, Уго Ларошель, Аарон Курвилль, Бехнам Нейшабур, Хани Седги

Большие языковые модели являются рассуждениями с самопроверкой 19 декабря 2022 г.

Исюань Вэн, Миньцзюнь Чжу, Шичжу Хэ, Кан Лю, Цзюнь Чжао

Декомпозиция проблемы

Подсказки от наименьшего к наибольшему позволяют проводить сложные рассуждения в больших языковых моделях 21 мая 2022 г.

Денни Чжоу, Натаниэль Шерли, Ле Хоу, Джейсон Вэй, Нэйтан Скейлс, Сюэчжи Ван, Дэйл Шуурманс, Клэр Кюи, Оливье Буске, Куок Ле, Эд Чи

Композиционный семантический анализ с использованием больших языковых моделей 29 сентября 2022 г.

Эндрю Дроздов, Натанаэль Шерли, Экин Акюрек, Натан Скейлс, Синьин Сун, Синьюнь Чен, Оливье Буске, Денни Чжоу

Декомпозированные подсказки: модульный подход к решению сложных задач 5 октября 2022 г.

Тушар Хот, Харш Триведи, Мэттью Финлейсон, Яо Фу, Кайл Ричардсон, Питер Кларк, Ашиш Сабхарвал

Измерение и сужение разрыва в композиционности языковых моделей 7 октября 2022 г.

Офир Пресс, Муру Чжан, Севон Мин, Людвиг Шмидт, Ной А. Смит, Майк Льюис

Последовательные подсказки для декомпозиции сложных вопросов 8 декабря 2022 г.

Диру Дуа, Шиваншу Гупта, Самир Сингх, Мэтт Гарднер

Большие языковые модели — универсальные средства декомпозиции: разлагайте доказательства и вопросы для рассуждений на основе таблиц 31 января 2023 г.

Юньху Е, Биньюань Хуэй, Минь Ян, Биньхуа Ли, Фэй Хуан, Юнбинь Ли

Другие

Языковые модели как планировщики с нулевым выстрелом: извлечение практических знаний для воплощенных агентов 18 января 2022 г.

Вэньлун Хуан, Питер Аббил, Дипак Патак, Игорь Мордач

Выбор-вывод: использование больших языковых моделей для интерпретируемых логических рассуждений 19 мая 2022 г.

Антония Кресвелл, Мюррэй Шанахан, Ирина Хиггинс

Майевтические подсказки: логически последовательные рассуждения с рекурсивными объяснениями 24 мая 2022 г.

Джэхун Юнг, Ляньхуэй Цинь, Шон Веллек, Фаиз Брахман, Чандра Бхагаватула, Ронан Ле Брас, Еджин Чой

Достоверное рассуждение с использованием больших языковых моделей 30 августа 2022 г.

Антония Кресвелл, Мюррэй Шанахан

Научитесь объяснять: мультимодальное рассуждение с помощью цепочек мыслей для ответа на научные вопросы 20 сентября 2022 г.

Пан Лу, Сваруп Мишра, Тони Ся, Лян Цю, Кай-Вэй Чанг, Сон-Чун Чжу, Ойвинд Тафьорд, Питер Кларк, Эшвин Кальян

Пояснения с помощью больших языковых моделей делают маленькие рассуждения лучше 13 октября 2022 г.

Шиянг Ли, Цзяньшу Чен, Йелун Шен, Чжиюй Чен, Синьлу Чжан, Зекунь Ли, Хун Ван, Цзин Цянь, Баолинь Пэн, И Мао, Вэньху Чен, Сифэн Янь

Преобразование возможностей многоэтапного рассуждения больших языковых моделей в более мелкие модели посредством семантической декомпозиции 1 декабря 2022 г.

Кумар Шридхар, Алессандро Столфо, Мринмая Сачан

Обучение моделям малого языка рассудку 16 декабря 2022 г.

Люси Шарлотта Магистер, Джонатан Мэллинсон, Якуб Адамек, Эрик Мальми, Алексей Северин

ЛАМБАДА: обратная цепочка для автоматического рассуждения на естественном языке 20 декабря 2022 г.

Сейед Мехран Каземи, Надджунг Ким, Дипти Бхатия, Синь Сюй, Дипак Рамачандран

Рассуждение с помощью языковой модели — это планирование с помощью модели мира 24 мая 2023 г.

Шибо Хао, И Гу, Хаоди Ма, Джошуа Цзяхуа Хун, Чжэнь Ван, Дэйзи Чжэ Ван, Чжитин Ху

Гибридный метод

Обучение и подсказки, улучшающие мышление

Рассуждаем как исполнители программ 27 января 2022 г.

Синьюй Пи, Цянь Лю, Бэй Чен, Мортеза Зияди, Цзэци Линь, Цян Фу, Ян Гао, Цзянь-Гуан Лу, Вэйчжу Чен

Решение задач количественного рассуждения с помощью языковых моделей 29 июня 2022 г.

Айтор Левкович, Андерс Андреассен, Дэвид Дохан, Итан Дайер, Хенрик Михалевски, Винай Рамашеш, Эмброуз Слоун, Сем Анил, Иманол Шлаг, Тео Гутман-Соло, Юхуай Ву, Бехнам Нейшабур, Гай Гур-Ари, Ведант Мисра

Исследование обобщения длины в моделях большого языка 11 июля 2022 г.

Джем Анил, Юхуай Ву, Андерс Андреассен, Айтор Левкович, Ведант Мисра, Винай Рамашеш, Эмброуз Слоун, Гай Гур-Ари, Итан Дайер, Бехнам Нейшабур

Масштабирование языковых моделей с точной настройкой инструкций 20 октября 2022 г.

Хён Вон Чунг, Ле Хоу, Шейн Лонгпре, Баррет Зоф, И Тай, Уильям Федус, Юньсюань Ли, Сюэчжи Ван, Мостафа Дегани, Сиддхартха Брахма, Альберт Уэбсон, Шисян Шейн Гу, Чжуюн Дай, Мирак Сузгун, Синьюнь Чен, Ааканша Чоудхери, Алекс Кастро-Рос, Мари Пелла, Кевин Робинсон, Даша Вальтер, Шаран Наранг, Гаурав Мишра, Адамс Ю, Винсент Чжао, Янпин Хуан, Эндрю Дай, Хункун Ю, Слав Петров, Эд Х. Чи, Джефф Дин, Джейкоб Девлин, Адам Робертс, Денни Чжоу, Куок В. Ле , Джейсон Вэй

Галактика: большая языковая модель для науки 16 ноября 2022 г.

Росс Тейлор, Марцин Кардас, Гиллем Кукурулл, Томас Шиалом, Энтони Хартшорн, Элвис Саравиа, Эндрю Поултон, Виктор Керкез, Роберт Стойнич

ВНИМАНИЕ: адаптация языковых моделей к задачам рассуждения 16 декабря 2022 г.

Пин Ю, Тианлу Ван, Ольга Головнева, Бадр Алхамисси, Гарги Гош, Мона Диаб, Асли Челикилмаз

Начальная загрузка и самосовершенствование

STaR: Самостоятельное рассуждение с рассуждением 28 марта 2022 г.

Эрик Зеликман, Юхуай Ву, Джесси Му, Ноа Д. Гудман

Языковые модели могут научиться лучше программировать 29 июля 2022 г.

Патрик Халупцок, Мэттью Бауэрс, Адам Тауман Калай

Большие языковые модели могут самосовершенствоваться 20 октября 2022 г.

Цзясинь Хуан, Шисян Шейн Гу, Ле Хоу, Юэсинь Ву, Сюэчжи Ван, Хункун Ю, Цзявэй Хан

Оценка и анализ

Действительно ли модели НЛП способны решать простые математические задачи со словами? 12 марта 2021 г.

Аркил Патель, Сатвик Бхаттамишра, Навин Гоял

Влияние частоты семестров перед обучением на маловероятное мышление 15 февраля 2022 г.

Ясаман Разеги, Роберт Л. Логан IV, Мэтт Гарднер, Самир Сингх

Утечка вашей личной информации из больших предварительно обученных языковых моделей? 25 мая 2022 г.

Цзе Хуан, Ханьинь Шао, Кевин Чен-Чуан Чанг

Большие языковые модели все еще не могут планироваться (контрольный показатель для студентов магистратуры по планированию и обоснованию изменений) 21 июня 2022 г.

Картик Валмикам, Альберто Олмо, Сарат Сридхаран, Суббарао Камбхампати

Исследование обобщения длины в моделях большого языка 11 июля 2022 г.

Джем Анил, Юхуай Ву, Андерс Андреассен, Айтор Левкович, Ведант Мисра, Винай Рамашеш, Эмброуз Слоун, Гай Гур-Ари, Итан Дайер, Бехнам Нейшабур

Языковые модели демонстрируют влияние человеческого содержания на мышление 14 июля 2022 г.

Ишита Дасгупта, Эндрю К. Лампинен, Стефани Сай Чан, Антония Кресвелл, Дхаршан Кумаран, Джеймс Л. Макклелланд, Феликс Хилл

ФОЛИО: Рассуждения на естественном языке с помощью логики первого порядка 2 сентября 2022 г.

Симэн Хан, Хейли Шёлкопф, Илун Чжао, Чжэнтинг Ци, Мартин Ридделл, Люк Бенсон, Люси Сан, Екатерина Зубова, Юцзе Цяо, Мэттью Бертелл, Дэвид Пэн, Джонатан Фан, Исинь Лю, Брайан Вонг, Малкольм Сейлор, Ансонг Ни, Линьонг Нан , Джунго Касаи, Тао Ю, Руй Чжан, Шафик Джоти, Александр Р. Фаббри, Войцех Крыщинский, Си Виктория Линь, Цайминг Сюн, Драгомир Радев

Языковые модели — жадные рассуждения: систематический формальный анализ цепочки мыслей 3 октября 2022 г.

Абулхаир Сапаров, Хе Хе

Сложные задачи BIG Bench и может ли их решить цепочка мыслей 17 октября 2022 г.

Мирак Сузгун, Нэйтан Скейлс, Натанаэль Шерли, Себастьян Германн, И Тай, Хён Вон Чунг, Ааканша Чоудхери, Куок В. Ле, Эд Х. Чи, Денни Чжоу, Джейсон Вэй

Большие языковые модели не являются коммуникаторами с нулевым выстрелом 26 октября 2022 г.

Лаура Руис, Акбир Хан, Стелла Бидерман, Сара Хукер, Тим Роктешель, Эдвард Грефенстетт

ROSCOE: набор показателей для пошагового рассуждения 15 декабря 2022 г.

Ольга Головнева, Моя Чен, Спенсер Пофф, Мартин Корредор, Люк Зеттлмойер, Марьям Фазель-Заранди, Асли Челикьилмаз

На пути к пониманию подсказок по цепочке мыслей: эмпирическое исследование того, что важно 20 декабря 2022 г.

Боши Ван, Севон Мин, Сян Дэн, Цзямин Шен, Ю Ву, Люк Зеттлмойер, Хуан Сун

Цитирование

Если вы найдете этот репозиторий полезным, пожалуйста, процитируйте наш опрос:

 @article{huang2022towards,
  title={Towards Reasoning in Large Language Models: A Survey},
  author={Huang, Jie and Chang, Kevin Chen-Chuan},
  journal={arXiv preprint arXiv:2212.10403},
  year={2022}
}