LM reasoning下载 - LM reasoning源码下载

大型语言模型中的推理

该存储库包含有关大型语言模型推理的论文和资源的集合。

欲了解更多详细信息，请参阅大型语言模型中的推理：调查

请随时让我知道丢失的文件（问题或请求请求）。

贡献者：黄杰@UIUC

感谢 Kevin Chen-Chuan Chang @UIUC、Jason Wei @Google Brain、Denny Zhou @Google Brain 富有洞察力的讨论和建议。

内容

民意调查
相关调查、立场文件和博客
技术
- 完全监督的微调
- 提示和情境学习
- 混合法
评估与分析

民意调查

大型语言模型中的推理：一项调查，2022 年 12 月 20 日

黄杰、张震川

技术

完全监督的微调

我们主要关注适用于在 GPT-3 (175B) 等大型语言模型中改进或引发“推理”的技术

这种范式的论文差异很大，通常基于在特定数据集上训练的小型模型。我们在这里列出几篇论文供参考（即列表并不完整）。请参阅我们的调查以进行一些讨论。

解释一下自己！利用语言模型进行常识推理2019 年 6 月 6 日

纳兹宁·法特玛·拉加尼、布莱恩·麦凯恩、蔡明·熊、理查德·索彻

思想飞跃：教授预训练模型对隐性知识进行系统推理2020 年 6 月 11 日

阿隆·塔尔莫、奥伊温德·塔菲尤德、彼得·克拉克、约夫·戈德堡、乔纳森·贝兰特

使用 MATH 数据集衡量数学问题解决能力2021 年 3 月 5 日

丹·亨德里克斯、科林·伯恩斯、索拉夫·卡达瓦斯、阿库尔·阿罗拉、史蒂文·巴沙特、埃里克·唐、道恩·宋、雅各布·斯坦哈特

展示您的作品：使用语言模型进行中间计算的便签本 2021 年 11 月 30 日

麦克斯韦·奈伊、安德斯·约翰·安德烈森、盖伊·古尔-阿里、亨里克·米查勒夫斯基、雅各布·奥斯汀、大卫·比伯、大卫·多汉、艾托·卢科维奇、马丁·博斯马、大卫·栾、查尔斯·萨顿、奥古斯都·奥德纳

FaiRR：自然语言的忠实而稳健的演绎推理2022 年 3 月 19 日

苏米亚·桑亚尔、哈曼·辛格、向仁

......

提示和情境学习

思维提示链及其变体/应用

思维链提示引发大型语言模型的推理28 Jan 2022

卫杰森、王学智、Dale Schuurmans、Maarten Bosma、Brian Ichter、Fei Xia、Ed Chi、Quoc Le、Denny Zhou

迭代提示思想链的预训练语言模型2022 年 3 月 16 日

王博士、邓翔、孙焕

大型语言模型是零样本推理机2022 年 5 月 24 日

小岛武、顾世翔、马歇尔·里德、松尾裕、岩泽佑介

心理学思维链提示大语言模型中的隐喻理解2022 年 9 月 16 日

本·普莱斯托斯基、保罗·锡伯杜、诺亚·古德曼

语言模型是多语言思维链推理机6 Oct 2022

Freda Shi、Mirac Suzgun、Markus Freitag、Xuezhi Wang、Suraj Srivats、Soroush Vosoughi、Hyung Won Chung、Yi Tay、Sebastian Ruder、Denny Zhou、Dipanjan Das、Jason Wei

大型语言模型很少(1)-shot Table Reasoners 2022 年 10 月 13 日

陈文虎

代码的语言模型是少数常识学习者13 Oct 2022

Aman Madaan、周书彦、Uri Alon、杨一鸣、Graham Neubig

PaL：程序辅助语言模型2022 年 11 月 18 日

Luyu Gau*、Aman Madaan*、Shuyan Zhou*、Uri Alon、Pengfei Liu、Yiming Yang、Jamie Callan、Graham Neubig

思路提示：将计算与数值推理任务的推理分离开来2022 年 11 月 22 日

陈文虎、马学光、王欣怡、William W. Cohen

通过检索重新思考：忠实的大型语言模型推理2022 年 12 月 31 日

何航峰、张宏明、丹·罗斯

基本原理工程

培训验证员解决数学应用题2021 年 10 月 27 日

卡尔·科布、维尼特·科萨拉朱、穆罕默德·巴伐利亚、马克·陈、全希宇、卢卡斯·凯撒、马蒂亚斯·普拉珀特、杰里·特沃雷克、雅各布·希尔顿、中野礼一郎、克里斯托弗·黑塞、约翰·舒尔曼

自洽改善了语言模型中的思维推理链21 Mar 2022

王学智、Jason Wei、Dale Schuurmans、Quoc Le、Ed Chi、Sharan Narang、Aakanksha Chowdhery、Denny Zhou

关于让语言模型更好地推理的进展2022 年 6 月 6 日

李逸飞、林泽琪、张世卓、付强、陈蓓、楼建光、陈伟柱

基于复杂性的多步推理提示2022 年 10 月 3 日

付耀、彭浩、Ashish Sabharwal、Peter Clark、Tushar Khot

大型语言模型中的自动思维提示链7 Oct 2022

张卓胜、张阿斯顿、穆里、亚历克斯·斯莫拉

通过情境学习教授算法推理2022 年 11 月 15 日

海蒂·周、阿扎德·诺瓦、雨果·拉罗谢尔、亚伦·考维尔、Behnam Neyshabur、哈妮·塞吉

大型语言模型是具有自我验证功能的推理机19 Dec 2022

翁宜轩、朱敏君、何世柱、刘康、赵军

问题分解

从最少到最多的提示可在大型语言模型中实现复杂推理2022 年 5 月 21 日

周丹尼、纳撒内尔·沙利、侯乐、贾森·魏、内森·斯凯尔斯、王学智、戴尔·舒曼斯、克莱尔·崔、奥利维尔·布斯克特、Quoc Le、Ed Chi

使用大型语言模型进行组合语义解析2022 年 9 月 29 日

Andrew Drozdov、Nathanael Schärli、Ekin Akyürek、Nathan Scales、Xinying Song、Xinyun Chen、Olivier Bousquet、Denny Zhou

分解提示：解决复杂任务的模块化方法2022 年 10 月 5 日

图沙尔·科特、哈什·特里维迪、马修·芬利森、姚夫、凯尔·理查德森、彼得·克拉克、阿什什·萨巴瓦尔

测量和缩小语言模型中的组合性差距7 Oct 2022

Ofir Press、Muru 张、Sewon Min、Ludwig Schmidt、Noah A. Smith、Mike Lewis

连续提示分解复杂问题2022 年 12 月 8 日

Dheeru Dua、Shivanshu Gupta、萨米尔·辛格、马特·加德纳

大型语言模型是多功能分解器：分解基于表格的推理的证据和问题2023 年 1 月 31 日

叶云虎、惠斌源、杨敏、李斌华、黄飞、李永斌

其他的

作为零样本规划器的语言模型：为具体代理提取可操作的知识2022 年 1 月 18 日

黄文龙、彼得·阿贝尔、迪帕克·帕塔克、伊戈尔·莫达奇

选择推理：利用大型语言模型进行可解释的逻辑推理2022 年 5 月 19 日

安东尼娅·克雷斯韦尔、穆雷·沙纳汉、伊琳娜·希金斯

Maieutic 提示：逻辑一致的推理与递归解释2022 年 5 月 24 日

Jaehun Jung、秦连辉、Sean Welleck、Faeze Brahman、Chandra Bhagavatula、Ronan Le Bras、Yejin Choi

使用大型语言模型进行忠实推理2022 年 8 月 30 日

安东尼娅·克雷斯韦尔，穆雷·沙纳汉

学会解释：通过思维链进行多模态推理以进行科学问答2022 年 9 月 20 日

潘璐、Swaroop Mishra、托尼·夏、梁秋、张凯伟、朱松春、Oyvind Tafjord、Peter Clark、Ashwin Kalyan

大型语言模型的解释使小型推理机变得更好13 Oct 2022

李世阳、陈建树、沉业龙、陈志宇、张新录、李泽坤、王宏、钱静、彭宝林、毛毅、陈文虎、严西峰

通过语义分解将大型语言模型的多步推理能力提炼成较小的模型1 Dec 2022

库马尔·施里达尔、亚历山德罗·斯托尔福、Mrinmaya Sachan

教授小语言模型推理2022 年 12 月 16 日

露西·夏洛特·玛格斯特、乔纳森·马林森、雅库布·阿达梅克、埃里克·马尔米、阿利亚克塞·塞维林

LAMBADA：自然语言自动推理的后向链接20 Dec 2022

Seyed Mehran Kazemi、Najoung Kim、Deepti Bhatia、徐鑫、Deepak Ramachandran

用语言模型推理就是用世界模型规划2023 年 5 月 24 日

郝世博、谷一、马浩迪、洪佳华、王震、王喆、胡志婷

混合法

推理增强训练和提示

像程序执行者一样推理2022 年 1 月 27 日

皮新宇、刘谦、陈蓓、Morteza Ziyadi、林泽琪、付强、高岩、楼建光、陈伟柱

用语言模型解决定量推理问题2022 年 6 月 29 日

艾托·莱科维奇、安德斯·安德烈森、大卫·多汉、伊桑·戴尔、亨利克·米查勒夫斯基、维奈·拉马塞什、安布罗斯·斯隆、杰姆·阿尼尔、伊曼诺尔·施拉格、西奥·古特曼-索罗、吴玉怀、Behnam Neyshabur、Guy Gur-Ari、Vedant Misra

探索大型语言模型中的长度泛化2022 年 7 月 11 日

Cem Anil、吴玉怀、Anders Andreassen、Aitor Lewkowycz、Vedant Misra、Vinay Ramasesh、Ambrose Slone、Guy Gur-Ari、Ethan Dyer、Behnam Neyshabur

扩展指令-微调语言模型20 Oct 2022

Hyung Won Chung、Le Hou、Shayne Longpre、Barret Zoph、Yi Tay、William Fedus、Yunxuan Li、Xuezhi Wang、Mostafa Dehghani、Siddhartha Brahma、Albert Webson、Shishan Shane Gu、Zhuyun Dai、Mirac Suzgun、Xinyun Chen、Aakanksha Chowdhery、亚历克斯·卡斯特罗-罗斯、玛丽·佩拉特、凯文·罗宾逊、达莎·瓦尔特、沙兰·纳朗、高拉夫Mishra、Adams Yu、Vincent Zhao、Yanping Huang、Andrew Dai、Hongkun Yu、Slav Petrov、Ed H. Chi、Jeff Dean、Jacob Devlin、Adam Roberts、Denny Zhou、Quoc V. Le、Jason Wei

卡拉狄加：大型科学语言模型2022 年 11 月 16 日

罗斯·泰勒、马辛·卡达斯、吉列姆·库库鲁尔、托马斯·夏洛姆、安东尼·哈茨霍恩、埃尔维斯·萨拉维亚、安德鲁·保尔顿、维克托·科尔克兹、罗伯特·斯托伊尼奇

警报：使语言模型适应推理任务2022 年 12 月 16 日

于平、王天禄、Olga Golovneva、Badr Alkhamissy、Gargi Ghosh、Mona Diab、Asli Celikylmaz

自力更生和自我完善

STAR：用推理引导推理2022 年 3 月 28 日

Eric Zelikman、吴玉怀、Jesse Mu、Noah D. Goodman

语言模型可以自学更好地编程2022 年 7 月 29 日

帕特里克·哈鲁普佐克、马修·鲍尔斯、亚当·陶曼·卡莱

大型语言模型可以自我改进20 Oct 2022

黄嘉欣、顾世祥、侯乐、吴跃欣、王学智、于洪坤、韩家伟

评估与分析

NLP 模型真的能够解决简单的数学应用题吗？ 2021 年 3 月 12 日

阿基尔·帕特尔、萨特维克·巴塔米什拉、纳文·戈亚尔

预训练术语频率对少样本推理的影响2022 年 2 月 15 日

亚萨曼·拉泽吉、罗伯特·洛根四世、马特·加德纳、萨梅尔·辛格

大型预训练语言模型是否会泄露您的个人信息？ 2022 年 5 月 25 日

黄杰、邵汉印、张震川

大型语言模型仍然无法规划（法学硕士关于规划和变革推理的基准） 2022 年 6 月 21 日

Karthik Valmeekam、阿尔贝托·奥尔莫、Sarath Sreedharan、Subbarao Kambhampati

探索大型语言模型中的长度泛化2022 年 7 月 11 日

Cem Anil、吴玉怀、Anders Andreassen、Aitor Lewkowycz、Vedant Misra、Vinay Ramasesh、Ambrose Slone、Guy Gur-Ari、Ethan Dyer、Behnam Neyshabur

语言模型显示类人内容对推理的影响2022 年 7 月 14 日

Ishita Dasgupta、Andrew K. Lampinen、Stephanie CY Chan、Antonia Creswell、Dharshan Kumaran、James L. McClelland、Felix Hill

FOLIO：使用一阶逻辑进行自然语言推理2 Sep 2022

韩思萌、海莉·修尔科普夫、赵一伦、齐震霆、马丁·里德尔、卢克·本森、孙露西、叶卡捷琳娜·祖波娃、乔玉杰、马修·伯特尔、彭大卫、乔纳森·范、刘亦欣、布莱恩·王、马尔科姆·赛勒、倪安松、南林勇, Jungo Kasai, 于涛, 张锐, Shafiq Joty, Alexander R. Fabbri, Wojciech Kryscinski、Xi Victoria Lin、蔡明熊、Dragomir Radev

语言模型是贪婪推理机：思想链的系统形式分析3 Oct 2022

阿布海尔·萨帕罗夫呵呵

具有挑战性的 BIG-Bench 任务以及思维链能否解决这些问题2022 年 10 月 17 日

Mirac Suzgun、Nathan Scales、Nathanael Schärli、Sebastian Gehrmann、Yi Tay、Hyung Won Chung、Aakanksha Chowdhery、Quoc V. Le、Ed H. Chi、Denny Zhou、Jason Wei

大型语言模型不是零样本通信器26 Oct 2022

劳拉·路易斯 / 阿克比尔·汗 / 斯特拉·比德曼 / 萨拉·胡克 / 蒂姆·罗克塔舍尔 / 爱德华·格雷芬斯泰特

ROSCOE：一套用于逐步推理评分的指标2022 年 12 月 15 日

奥尔加·戈洛夫涅娃 / 陈莫雅 / 斯宾塞·波夫 / 马丁·科雷多 / 卢克·泽特尔莫耶 / 玛丽亚姆·法泽尔-扎兰迪 / 阿斯利·塞利基尔马兹

理解思维链提示：对重要事项的实证研究20 Dec 2022

王博士、Sewon Min、邓翔、沈家明、吴尤、Luke Zettlemoyer、孙欢

引文

如果您发现此存储库有用，请引用我们的调查：

 @article{huang2022towards,
  title={Towards Reasoning in Large Language Models: A Survey},
  author={Huang, Jie and Chang, Kevin Chen-Chuan},
  journal={arXiv preprint arXiv:2212.10403},
  year={2022}
}

展开

LM reasoning

大型语言模型中的推理

内容

民意调查

大型语言模型中的推理：一项调查，2022 年 12 月 20 日

相关调查、立场文件和博客

大型语言模型的新兴能力2022 年 6 月 15 日

语言模型级联21 Jul 2022

GPT如何获得它的能力？追踪语言模型的新兴能力的来源2022 年 12 月 11 日

使用语言模型提示进行推理：一项调查，2022 年 12 月 19 日

数学推理深度学习综述20 Dec 2022

情境学习调查2022 年 12 月 31 日

作为知识表示的自然语言的逻辑推理：一项调查，2023 年 3 月 21 日

自然语言推理调查， 2023 年 3 月 26 日

技术

完全监督的微调

解释一下自己！利用语言模型进行常识推理2019 年 6 月 6 日

思想飞跃：教授预训练模型对隐性知识进行系统推理2020 年 6 月 11 日

使用 MATH 数据集衡量数学问题解决能力2021 年 3 月 5 日

展示您的作品：使用语言模型进行中间计算的便签本 2021 年 11 月 30 日

FaiRR：自然语言的忠实而稳健的演绎推理2022 年 3 月 19 日

......

提示和情境学习

思维提示链及其变体/应用

思维链提示引发大型语言模型的推理28 Jan 2022

迭代提示思想链的预训练语言模型2022 年 3 月 16 日

大型语言模型是零样本推理机2022 年 5 月 24 日

心理学思维链提示大语言模型中的隐喻理解2022 年 9 月 16 日

语言模型是多语言思维链推理机6 Oct 2022

大型语言模型很少(1)-shot Table Reasoners 2022 年 10 月 13 日

代码的语言模型是少数常识学习者13 Oct 2022

PaL：程序辅助语言模型2022 年 11 月 18 日

思路提示：将计算与数值推理任务的推理分离开来2022 年 11 月 22 日

通过检索重新思考：忠实的大型语言模型推理2022 年 12 月 31 日

基本原理工程

培训验证员解决数学应用题2021 年 10 月 27 日

自洽改善了语言模型中的思维推理链21 Mar 2022

关于让语言模型更好地推理的进展2022 年 6 月 6 日

基于复杂性的多步推理提示2022 年 10 月 3 日

大型语言模型中的自动思维提示链7 Oct 2022

通过情境学习教授算法推理2022 年 11 月 15 日

大型语言模型是具有自我验证功能的推理机19 Dec 2022

问题分解

从最少到最多的提示可在大型语言模型中实现复杂推理2022 年 5 月 21 日

使用大型语言模型进行组合语义解析2022 年 9 月 29 日

分解提示：解决复杂任务的模块化方法2022 年 10 月 5 日

测量和缩小语言模型中的组合性差距7 Oct 2022

连续提示分解复杂问题2022 年 12 月 8 日

大型语言模型是多功能分解器：分解基于表格的推理的证据和问题2023 年 1 月 31 日

其他的

作为零样本规划器的语言模型：为具体代理提取可操作的知识2022 年 1 月 18 日

选择推理：利用大型语言模型进行可解释的逻辑推理2022 年 5 月 19 日

Maieutic 提示：逻辑一致的推理与递归解释2022 年 5 月 24 日

使用大型语言模型进行忠实推理2022 年 8 月 30 日

学会解释：通过思维链进行多模态推理以进行科学问答2022 年 9 月 20 日

大型语言模型的解释使小型推理机变得更好13 Oct 2022

通过语义分解将大型语言模型的多步推理能力提炼成较小的模型1 Dec 2022

教授小语言模型推理2022 年 12 月 16 日

LAMBADA：自然语言自动推理的后向链接20 Dec 2022

用语言模型推理就是用世界模型规划2023 年 5 月 24 日

混合法

推理增强训练和提示

像程序执行者一样推理2022 年 1 月 27 日

用语言模型解决定量推理问题2022 年 6 月 29 日

探索大型语言模型中的长度泛化2022 年 7 月 11 日

扩展指令-微调语言模型20 Oct 2022

卡拉狄加：大型科学语言模型2022 年 11 月 16 日

警报：使语言模型适应推理任务2022 年 12 月 16 日

自力更生和自我完善

STAR：用推理引导推理2022 年 3 月 28 日

语言模型可以自学更好地编程2022 年 7 月 29 日

大型语言模型可以自我改进20 Oct 2022

评估与分析

NLP 模型真的能够解决简单的数学应用题吗？ 2021 年 3 月 12 日

预训练术语频率对少样本推理的影响2022 年 2 月 15 日

大型预训练语言模型是否会泄露您的个人信息？ 2022 年 5 月 25 日

大型语言模型仍然无法规划（法学硕士关于规划和变革推理的基准） 2022 年 6 月 21 日

探索大型语言模型中的长度泛化2022 年 7 月 11 日

语言模型显示类人内容对推理的影响2022 年 7 月 14 日

FOLIO：使用一阶逻辑进行自然语言推理2 Sep 2022