LM reasoning下載 - LM reasoning原始碼下載

大型語言模型中的推理

該存儲庫包含有關大型語言模型推理的論文和資源的集合。

欲了解更多詳細信息，請參閱大型語言模型中的推理：調查

請隨時讓我知道遺失的文件（問題或請求請求）。

貢獻者：黃傑@UIUC

感謝 Kevin Chen-Chuan Chang @UIUC、Jason Wei @Google Brain、Denny Zhou @Google Brain 富有洞察力的討論和建議。

內容

民調
相關調查、立場文件和博客
科技
- 完全監督的微調
- 提示和情境學習
- 混合法
評估與分析

民調

大型語言模型中的推理：一項調查，2022 年 12 月 20 日

黃傑、張震川

科技

完全監督的微調

我們主要關注適用於在 GPT-3 (175B) 等大型語言模型中改進或引發「推理」的技術

這種範式的論文差異很大，通常基於在特定資料集上訓練的小型模型。我們在這裡列出幾篇論文供參考（即列表並不完整）。請參閱我們的調查以進行一些討論。

解釋一下自己！利用語言模型進行常識推理2019 年 6 月 6 日

納茲寧·法特瑪·拉加尼、布萊恩·麥凱恩、蔡明·熊、理查德·索徹

思想飛躍：教授預訓練模型對隱性知識進行系統推理2020 年 6 月 11 日

阿隆·塔爾莫、奧伊溫德·塔菲尤德、彼得·克拉克、約夫·戈德堡、喬納森·貝蘭特

使用 MATH 資料集衡量數學問題解決能力2021 年 3 月 5 日

丹·亨德里克斯、科林·伯恩斯、索拉夫·卡達瓦斯、阿庫爾·阿羅拉、史蒂文·巴沙特、艾瑞克·唐、道恩·宋、雅各·史丹哈特

展示您的作品：使用語言模型進行中間計算的便條本 2021 年 11 月 30 日

麥克斯韋·奈伊、安德斯·約翰·安德烈森、蓋伊·古爾-阿里、亨里克·米查勒夫斯基、雅各布·奧斯汀、大衛·比伯、大衛·多漢、艾托·盧科維奇、馬丁·博斯馬、大衛·欒、查爾斯·薩頓、奧古斯都·奧德納

FaiRR：自然語言的忠實而穩健的演繹推理2022 年 3 月 19 日

蘇米亞·桑亞爾、哈曼·辛格、向仁

.....

提示和情境學習

思維提示鍊及其變體/應用

思維鏈提示引發大型語言模型的推理28 Jan 2022

衛傑森、王學智、Dale Schuurmans、Maarten Bosma、Brian Ichter、Fei Xia、Ed Chi、Quoc Le、Denny Zhou

迭代提示思想鏈的預訓練語言模型2022 年 3 月 16 日

王博士、鄧翔、孫煥

大型語言模型是零樣本推理機2022 年 5 月 24 日

小島武、顧世翔、馬歇爾·里德、松尾裕、岩澤佑介

心理學思維鏈提示大語言模型中的隱喻理解2022 年 9 月 16 日

本·普萊斯托斯基、保羅·錫伯杜、諾亞·古德曼

語言模型是多語言思考鏈推理機6 Oct 2022

Freda Shi、Mirac Suzgun、Markus Freitag、Xuezhi Wang、Suraj Srivats、Soroush Vosoughi、Hyung Won Chung、Yi Tay、Sebastian Ruder、Denny Zhou、Dipanjan Das、Jason Wei

大型語言模式很少(1)-shot Table Reasoners 2022 年 10 月 13 日

陳文虎

代碼的語言模型是少數常識學習者13 Oct 2022

Aman Madaan、週書彥、Uri Alon、楊一鳴、Graham Neubig

PaL：程式輔助語言模型2022 年 11 月 18 日

Luyu Gau*、Aman Madaan*、Shuyan Zhou*、Uri Alon、Pengfei Liu、Yiming Yang、Jamie Callan、Graham Neubig

思路提示：將計算與數值推理任務的推理分開2022 年 11 月 22 日

陳文虎、馬學光、王欣怡、William W. Cohen

透過檢索重新思考：忠實的大型語言模型推理2022 年 12 月 31 日

何航峰、張宏明、丹·羅斯

基本原理工程

訓練驗證員解決數學應用題2021 年 10 月 27 日

卡爾·科布、維尼特·科薩拉朱、穆罕默德·巴伐利亞、馬克·陳、全希宇、盧卡斯·凱撒、馬蒂亞斯·普拉珀特、傑裡·特沃雷克、雅各布希爾頓、中野禮一郎、克里斯多福黑塞、約翰舒爾曼

自洽改善了語言模型中的思考推理鏈21 Mar 2022

王學智、Jason Wei、Dale Schuurmans、Quoc Le、Ed Chi、Sharan Narang、Aakanksha Chowdhery、Denny Zhou

關於讓語言模型更好推理的進展2022 年 6 月 6 日

李逸飛、林澤琪、張世卓、付強、陳蓓、建築光、陳偉柱

基於複雜性的多步驟推理提示2022 年 10 月 3 日

付耀、彭浩、Ashish Sabharwal、Peter Clark、Tushar Khot

大型語言模型中的自動化思考提示鏈7 Oct 2022

張卓勝、張阿斯頓、穆里、亞歷克斯·斯莫拉

透過情境學習教授演算法推理2022 年 11 月 15 日

海蒂週、阿扎德諾瓦、雨果拉羅謝爾、亞倫考維爾、Behnam Neyshabur、哈妮塞吉

大型語言模型是具有自我驗證功能的推理機19 Dec 2022

翁宜軒、朱敏君、何世柱、劉康、趙軍

問題分解

從最少到最多的提示可在大型語言模型中實現複雜推理2022 年 5 月 21 日

週丹尼、納撒內爾·沙利、侯樂、賈森·魏、內森·斯凱爾斯、王學智、戴爾·舒曼斯、克萊爾·崔、奧利維爾·布斯克特、Quoc Le 、Ed Chi

使用大型語言模型進行組合語意解析2022 年 9 月 29 日

Andrew Drozdov、Nathanael Schärli、Ekin Akyürek、Nathan Scales、Xinying Song、Xinyun Chen、Olivier Bousquet、Denny Zhou

分解提示：解決複雜任務的模組化方法2022 年 10 月 5 日

圖沙爾·科特、哈什·特里維迪、馬修·芬利森、姚夫、凱爾·理查森、彼得·克拉克、阿什什·薩巴瓦爾

測量與縮小語言模型中的組合性差距7 Oct 2022

Ofir Press、Muru 張、Sewon Min、Ludwig Schmidt、Noah A. Smith、Mike Lewis

連續提示分解複雜問題2022 年 12 月 8 日

Dheeru Dua、Shivanshu Gupta、薩米爾辛格、馬特加德納

大型語言模型是多功能分解器：分解基於表格的推理的證據和問題2023 年 1 月 31 日

葉雲虎、惠斌源、楊敏、李斌華、黃飛、李永斌

其他的

作為零樣本規劃器的語言模型：為具體代理提取可操作的知識2022 年 1 月 18 日

黃文龍、彼得·阿貝爾、迪帕克·帕塔克、伊戈爾·莫達奇

選擇推理：利用大型語言模型進行可解釋的邏輯推理2022 年 5 月 19 日

安東妮亞·克雷斯韋爾、穆雷·沙納漢、伊琳娜·希金斯

Maieutic 提示：邏輯一致的推理與遞歸解釋2022 年 5 月 24 日

Jaehun Jung、秦連輝、Sean Welleck、Faeze Brahman、Chandra Bhagavatula、Ronan Le Bras、Yejin Choi

使用大型語言模型進行忠實推理2022 年 8 月 30 日

安東妮亞·克雷斯韋爾，穆雷·沙納漢

學會解釋：透過思考鏈進行多模態推理以進行科學問答2022 年 9 月 20 日

潘璐、Swaroop Mishra、東尼夏、梁秋、張凱偉、朱松春、Oyvind Tafjord、Peter Clark、Ashwin Kalyan

大型語言模型的解釋使小型推理機變得更好13 Oct 2022

李世陽、陳建樹、沈業龍、陳志宇、張新錄、李澤坤、王宏、錢靜、彭寶林、毛毅、陳文虎、嚴西峰

透過語意分解將大型語言模型的多步驟推理能力提煉成較小的模型1 Dec 2022

庫馬爾·施裡達爾、亞歷山德羅·斯托爾福、Mrinmaya Sachan

教授小語言模型推理2022 年 12 月 16 日

露西·夏洛特·瑪格斯特、喬納森·馬林森、雅庫布·阿達梅克、艾瑞克·馬爾米、阿利亞克塞·塞維林

LAMBADA：自然語言自動推理的後向連結20 Dec 2022

Seyed Mehran Kazemi、Najoung Kim、Deepti Bhatia、徐鑫、Deepak Ramachandran

用語言模型推理就是用世界模型規劃2023 年 5 月 24 日

郝世博、谷一、馬浩迪、洪佳華、王震、王喆、胡志婷

混合法

推理增強訓練和提示

像程式執行者一樣推理2022 年 1 月 27 日

皮新宇、劉謙、陳蓓、Morteza Ziyadi、林澤琪、付強、高岩、建築光、陳偉柱

用語言模型解決定量推理問題2022 年 6 月 29 日

艾托·萊科維奇、安德斯·安德烈森、大衛·多漢、伊森·戴爾、亨利克·米查勒夫斯基、維奈·拉馬塞什、安布羅斯·斯隆、傑姆·阿尼爾、伊曼諾爾·施拉格、西奧·古特曼-索羅、吳玉懷、Behnam Neyshabur、Guy Gur-Ari、Vedant Misra

探索大型語言模型中的長度泛化2022 年 7 月 11 日

Cem Anil、吳玉懷、Anders Andreassen、Aitor Lewkowycz、Vedant Misra、Vinay Ramasesh、Ambrose Slone、Guy Gur-Ari、Ethan Dyer、Behnam Neyshabur

擴展指令-微調語言模型20 Oct 2022

Hyung Won Chung、Le Hou、Shayne Longpre、Barret Zoph、Yi Tay、William Fedus、Yunxuan Li、Xuezhi Wang、Mostafa Dehghani、Siddhartha Brahma、Albert Webson、Shishan Shane Gu、Zhuyun Dai、Mirac Suzgun、Xininc Chady、Aakk亞歷克斯·卡斯特羅-羅斯、瑪麗·佩拉特、凱文·羅賓遜、達莎·瓦爾特、夏蘭·納朗、高拉夫·米甚拉、亞當斯·於、文森特·趙、黃彥平、安德魯·戴、於洪坤、斯拉夫·彼得羅夫、Ed H. Chi、傑夫·迪恩、雅各布·德夫林、亞當羅伯茨、Denny Zhou、Quoc V. Le、Jason Wei

卡拉狄加：大型科學語言模型2022 年 11 月 16 日

羅斯泰勒、馬辛卡達斯、吉列姆庫庫魯爾、湯瑪斯夏洛姆、安東尼哈茲霍恩、艾維斯薩拉維亞、安德魯保爾頓、維克托·科爾克茲、羅伯特·斯托伊尼奇

警報：使語言模型適應推理任務2022 年 12 月 16 日

於平、王天祿、Olga Golovneva、Badr Alkhamissy、Gargi Ghosh、Mona Diab、Asli Celikylmaz

自力更生與自我完善

STAR：以推理引導推理2022 年 3 月 28 日

Eric Zelikman、吳玉懷、Jesse Mu、Noah D. Goodman

語言模型可以自學更好地程式設計2022 年 7 月 29 日

哈魯普佐克、馬修鮑爾斯、亞當陶曼卡萊

大型語言模型可以自我改進20 Oct 2022

黃嘉欣、顧世祥、侯樂、吳躍欣、王學智、於洪坤、韓家偉

評估與分析

NLP 模型真的能夠解決簡單的數學應用問題嗎？ 2021 年 3 月 12 日

阿基爾·帕特爾、薩特維克·巴塔米甚拉、納文·戈亞爾

預訓練術語頻率對少樣本推理的影響2022 年 2 月 15 日

亞薩曼·拉澤吉、羅伯特·洛根四世、馬特·加德納、薩梅爾·辛格

大型預訓練語言模型是否會洩漏您的個人資訊？ 2022 年 5 月 25 日

黃傑、邵漢印、張震川

大型語言模型仍然無法規劃（法學碩士關於規劃和變革推理的基準） 2022 年 6 月 21 日

Karthik Valmeekam、阿爾貝托·奧爾莫、Sarath Sreedharan、Subbarao Kambhampati

探索大型語言模型中的長度泛化2022 年 7 月 11 日

Cem Anil、吳玉懷、Anders Andreassen、Aitor Lewkowycz、Vedant Misra、Vinay Ramasesh、Ambrose Slone、Guy Gur-Ari、Ethan Dyer、Behnam Neyshabur

語言模型顯示類人內容對推理的影響2022 年 7 月 14 日

Ishita Dasgupta、Andrew K. Lampinen、Stephanie CY Chan、Antonia Creswell、Dharshan Kumaran、James L. McClelland、Felix Hill

FOLIO：使用一階邏輯進行自然語言推理2 Sep 2022

韓思萌、海莉·修爾科普夫、趙一倫、齊震霆、馬丁·里德爾、盧克·本森、孫露西、葉卡捷琳娜·祖波娃、喬玉傑、馬修·伯特爾、彭大衛、喬納森·範、劉亦欣、布萊恩·王、馬爾科姆·賽勒、倪安松、南林勇, Jungo Kasai, 於濤, 張銳, Shafiq Joty, Alexander R. Fabbri, Wojciech Kryscinski, Xi Victoria Lin, Caiming Xiong , Dragomir Radev

語言模式是貪婪推理機：思想鏈的系統形式分析3 Oct 2022

阿布海爾‧薩帕羅夫呵呵

具有挑戰性的 BIG-Bench 任務以及思維鏈能否解決這些問題2022 年 10 月 17 日

Mirac Suzgun、Nathan Scales、Nathanael Schärli、Sebastian Gehrmann、Yi Tay、Hyung Won Chung、Aakanksha Chowdhery、Quoc V. Le、Ed H. Chi、Denny Zhou、Jason Wei

大型語言模型不是零樣本通訊器26 Oct 2022

勞拉路易斯 / 阿克比爾汗 / 史黛拉比德曼 / 莎拉胡克 / 提姆羅克塔舍爾 / 愛德華格雷芬斯泰特

ROSCOE：一套用於逐步推理評分的指標2022 年 12 月 15 日

奧爾加·戈洛夫涅娃/ 陳莫雅/ 斯賓塞·波夫/ 馬丁·科雷多/ 盧克·澤特爾莫耶/ 瑪麗亞姆·法澤爾-扎蘭迪/ 阿斯利·塞利克爾馬茲

理解思維鏈提示：重要事項的實證研究20 Dec 2022

王博士、Sewon Min、鄧翔、沈家明、吳尤、Luke Zettlemoyer、孫歡

引文

如果您發現此儲存庫有用，請引用我們的調查：

 @article{huang2022towards,
  title={Towards Reasoning in Large Language Models: A Survey},
  author={Huang, Jie and Chang, Kevin Chen-Chuan},
  journal={arXiv preprint arXiv:2212.10403},
  year={2022}
}

展開

LM reasoning

大型語言模型中的推理

內容

民調

大型語言模型中的推理：一項調查，2022 年 12 月 20 日

相關調查、立場文件和博客

大型語言模式的新興能力2022 年 6 月 15 日

語言模型級聯21 Jul 2022

GPT如何獲得它的能力？追蹤語言模型的新興能力的來源2022 年 12 月 11 日

使用語言模型提示進行推理：一項調查，2022 年 12 月 19 日

數學推理深度學習綜述20 Dec 2022

情境學習調查2022 年 12 月 31 日

作為知識表示的自然語言的邏輯推理：一項調查，2023 年 3 月 21 日

自然語言推理調查， 2023 年 3 月 26 日

科技

完全監督的微調

解釋一下自己！利用語言模型進行常識推理2019 年 6 月 6 日

思想飛躍：教授預訓練模型對隱性知識進行系統推理2020 年 6 月 11 日

使用 MATH 資料集衡量數學問題解決能力2021 年 3 月 5 日

展示您的作品：使用語言模型進行中間計算的便條本 2021 年 11 月 30 日

FaiRR：自然語言的忠實而穩健的演繹推理2022 年 3 月 19 日

.....

提示和情境學習

思維提示鍊及其變體/應用

思維鏈提示引發大型語言模型的推理28 Jan 2022

迭代提示思想鏈的預訓練語言模型2022 年 3 月 16 日

大型語言模型是零樣本推理機2022 年 5 月 24 日

心理學思維鏈提示大語言模型中的隱喻理解2022 年 9 月 16 日

語言模型是多語言思考鏈推理機6 Oct 2022

大型語言模式很少(1)-shot Table Reasoners 2022 年 10 月 13 日

代碼的語言模型是少數常識學習者13 Oct 2022

PaL：程式輔助語言模型2022 年 11 月 18 日

思路提示：將計算與數值推理任務的推理分開2022 年 11 月 22 日

透過檢索重新思考：忠實的大型語言模型推理2022 年 12 月 31 日

基本原理工程

訓練驗證員解決數學應用題2021 年 10 月 27 日

自洽改善了語言模型中的思考推理鏈21 Mar 2022

關於讓語言模型更好推理的進展2022 年 6 月 6 日

基於複雜性的多步驟推理提示2022 年 10 月 3 日

大型語言模型中的自動化思考提示鏈7 ​​Oct 2022

透過情境學習教授演算法推理2022 年 11 月 15 日

大型語言模型是具有自我驗證功能的推理機19 Dec 2022

問題分解

從最少到最多的提示可在大型語言模型中實現複雜推理2022 年 5 月 21 日

使用大型語言模型進行組合語意解析2022 年 9 月 29 日

分解提示：解決複雜任務的模組化方法2022 年 10 月 5 日

測量與縮小語言模型中的組合性差距7 Oct 2022

連續提示分解複雜問題2022 年 12 月 8 日

大型語言模型是多功能分解器：分解基於表格的推理的證據和問題2023 年 1 月 31 日

其他的

作為零樣本規劃器的語言模型：為具體代理提取可操作的知識2022 年 1 月 18 日

選擇推理：利用大型語言模型進行可解釋的邏輯推理2022 年 5 月 19 日

Maieutic 提示：邏輯一致的推理與遞歸解釋2022 年 5 月 24 日

使用大型語言模型進行忠實推理2022 年 8 月 30 日

學會解釋：透過思考鏈進行多模態推理以進行科學問答2022 年 9 月 20 日

大型語言模型的解釋使小型推理機變得更好13 Oct 2022

透過語意分解將大型語言模型的多步驟推理能力提煉成較小的模型1 Dec 2022

教授小語言模型推理2022 年 12 月 16 日

LAMBADA：自然語言自動推理的後向連結20 Dec 2022

用語言模型推理就是用世界模型規劃2023 年 5 月 24 日

混合法

推理增強訓練和提示

像程式執行者一樣推理2022 年 1 月 27 日

用語言模型解決定量推理問題2022 年 6 月 29 日

探索大型語言模型中的長度泛化2022 年 7 月 11 日

擴展指令-微調語言模型20 Oct 2022

卡拉狄加：大型科學語言模型2022 年 11 月 16 日

警報：使語言模型適應推理任務2022 年 12 月 16 日

自力更生與自我完善

STAR：以推理引導推理2022 年 3 月 28 日

語言模型可以自學更好地程式設計2022 年 7 月 29 日

大型語言模型可以自我改進20 Oct 2022

評估與分析

NLP 模型真的能夠解決簡單的數學應用問題嗎？ 2021 年 3 月 12 日

預訓練術語頻率對少樣本推理的影響2022 年 2 月 15 日

大型預訓練語言模型是否會洩漏您的個人資訊？ 2022 年 5 月 25 日

大型語言模型仍然無法規劃（法學碩士關於規劃和變革推理的基準） 2022 年 6 月 21 日

探索大型語言模型中的長度泛化2022 年 7 月 11 日

語言模型顯示類人內容對推理的影響2022 年 7 月 14 日

FOLIO：使用一階邏輯進行自然語言推理2 Sep 2022

大型語言模型中的自動化思考提示鏈7 Oct 2022