LM reasoning

대규모 언어 모델의 추론

이 저장소에는 대규모 언어 모델의 추론 에 관한 논문 및 리소스 모음이 포함되어 있습니다.

자세한 내용은 대규모 언어 모델의 추론을 향하여: 설문조사를 참조하세요.

누락된 서류(발행 또는 풀 요청)를 알려 주시기 바랍니다.

기여자: Jie Huang @UIUC

통찰력 있는 토론과 제안을 주신 Kevin Chen-Chuan Chang @UIUC, Jason Wei @Google Brain, Denny Zhou @Google Brain에게 감사드립니다.

내용물

• 조사
• 관련 설문조사 및 입장문 및 블로그
• 기술
  • 완전 감독형 미세 조정
  • 프롬프트 및 상황별 학습
  • 하이브리드 방식
• 평가 및 분석

조사

대규모 언어 모델의 추론을 향한: 설문조사 2022년 12월 20일

지에 황, 케빈 첸추안 장

관련 설문조사 및 의견서 및 블로그

대규모 언어 모델의 새로운 능력 2022년 6월 15일

Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, Ed H. Chi, Tatsunori Hashimoto, Oriol Vinyals, Percy Liang, Jeff Dean, William Fedus

언어 모델 캐스케이드 2022년 7월 21일

David Dohan, Winnie Xu, Aitor Lewkowycz, Jacob Austin, David Bieber, Raphael Gontijo Lopes, Yuhuai Wu, Henryk Michalewski, Rif A. Saurous, Jascha Sohl-dickstein, Kevin Murphy, Charles Sutton

GPT는 어떻게 그 능력을 얻나요? 언어 모델의 창발 능력을 소스로 추적하기 2022년 12월 11일

야오푸, 하오펭, 투샤르 샷

언어 모델 프롬프트를 통한 추론: 설문조사 2022년 12월 19일

Shuofei Qiao, Yixin Ou, Ningyu Zhang, Xiang Chen, Yunzhi Yao, Shumin Deng, Chuanqi Tan, Fei Huang, Huajun Chen

수학적 추론을 위한 딥러닝 설문조사 2022년 12월 20일

Pan Lu, Liang Qiu, Wenhao Yu, Sean Welleck, 카이웨이 창

맥락 내 학습을 위한 설문조사 2022년 12월 31일

Qingxiu Dong, Lei Li, Damai Dai, Ce Zheng, Zhiyong Wu, Baobao Chang, Xu Sun, Jingjing Xu, Lei Li, Zhifang Sui

지식 표현으로서의 자연어에 대한 논리적 추론: 설문조사 2023년 3월 21일

양 종린(Zonglin Yang), 신야 두(Xinya Du), 루이 마오(Rui Mao), 진지에 니(Jinjie Ni), 에릭 캠브리아(Erik Cambria)

자연 언어 추론, 설문조사 2023년 3월 26일

페이 유, 홍보 장, 벤유 왕

기술

완전 감독형 미세 조정

우리는 주로 GPT-3(175B)와 같은 대규모 언어 모델에서 "추론"을 개선하거나 도출하는 데 적용할 수 있는 기술에 중점을 둡니다.

이 패러다임의 논문은 매우 다양하며 일반적으로 특정 데이터 세트에 대해 훈련된 소규모 모델을 기반으로 합니다. 여기에는 참고용으로 여러 논문이 나열되어 있습니다(즉, 목록이 완전하지 않습니다). 일부 논의는 설문 조사를 참조하십시오.

자신을 설명하십시오! 상식 추론을 위한 언어 모델 활용 2019년 6월 6일

나즈닌 파테마 라자니, 브라이언 맥캔, 카이밍 시옹, 리처드 소커

생각의 도약: 암묵적 지식에 대해 체계적으로 추론하기 위해 사전 훈련된 모델 교육 2020년 6월 11일

알론 탈모르, 오이빈드 타피요르드, 피터 클라크, 요아브 골드버그, 조나단 베란트

MATH 데이터 세트를 사용하여 수학적 문제 해결 측정 2021년 3월 5일

댄 헨드릭스, 콜린 번스, 사우라브 카다바스, 아쿨 아로라, 스티븐 바사르트, 에릭 탕, 던 송, 제이콥 스타인하트

여러분의 작업을 보여주세요: 언어 모델을 사용한 중급 계산을 위한 스크래치패드 2021년 11월 30일

맥스웰 나이, 안데르스 요한 안드레아센, 가이 구르아리, 헨리크 미할레프스키, 제이콥 오스틴, 데이비드 비버, 데이비드 도한, 아이토르 루코비치, 마르텐 보스마, 데이비드 루안, 찰스 서튼, 아우구스투스 오데나

FaiRR: 자연어에 대한 충실하고 강력한 연역적 추론 2022년 3월 19일

수미야 산얄, 하만 싱, 샹 렌

......

프롬프트 및 상황별 학습

사고 유도의 사슬과 그 변형/응용

생각의 연쇄 촉진은 대규모 언어 모델에서 추론을 이끌어냅니다 . 2022년 1월 28일

Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou

사고 사슬을 위한 반복적으로 프롬프트 사전 훈련된 언어 모델 2022년 3월 16일

왕보시(Boshi Wang), 샹덩(Xiang Deng), 환순(Huan Sun)

대형 언어 모델은 제로샷 추론자입니다 2022년 5월 24일

코지마 타케시, 구 시샹 셰인, 마첼 레이드, 마츠오 유타카, 이와사와 유스케

대규모 언어 모델에서 은유 이해를 위한 심리적 정보를 바탕으로 한 일련의 사고방식 프롬프트 2022년 9월 16일

벤 프리스타스키, 폴 티보도, 노아 굿맨

언어 모델은 다중 언어 사고 사슬 추론자입니다 2022년 10월 6일

Freda Shi, Mirac Suzgun, Markus Freitag, Xuezhi Wang, Suraj Srivats, Soroush Vosoughi, 정형원, Yi Tay, Sebastian Ruder, Denny Zhou, Dipanjan Das, Jason Wei

대규모 언어 모델은 소수(1)-샷 테이블 추론자입니다 . 2022년 10월 13일

첸 원후

코드의 언어 모델은 소수의 상식 학습자입니다 2022년 10월 13일

아만 마단, 슈얀 저우, 유리 알론, 양이밍, 그레이엄 뉴빅

PaL: 프로그램 지원 언어 모델 2022년 11월 18일

Luyu Gao*, Aman Madaan*, Shuyan Zhou*, Uri Alon, Pengfei Liu, Yiming Yang, Jamie Callan, Graham Neubig

사고 유도 프로그램: 수치 추론 작업을 위한 추론에서 계산 분리 2022년 11월 22일

Wenhu Chen, Xueguang Ma, Xinyi Wang, 윌리엄 W. 코헨

검색을 통한 재고: 충실한 대형 언어 모델 추론 2022년 12월 31일

허항펑, 장홍밍, 댄 로스

이론적 근거 엔지니어링

수학 단어 문제를 해결하기 위한 훈련 검증기 2021년 10월 27일

칼 코베, 비닛 코사라주, 모하마드 바바리안, 마크 첸, 전희우, 루카스 카이저, 마티아스 플라퍼트, 제리 투렉, 제이콥 힐튼, 나카노 레이이치로, 크리스토퍼 헤세, 존 슐만

자기 일관성은 언어 모델의 사고 연쇄 추론을 향상시킵니다 . 2022년 3월 21일

Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou

언어 모델을 더 나은 추론기로 만드는 발전에 대하여 2022년 6월 6일

Yifei Li, Zeqi Lin, Shizhuo Zhang, Qiang Fu, Bei Chen, Jian-Guang Lou, Weizhu Chen

다단계 추론을 위한 복잡성 기반 프롬프트 2022년 10월 3일

야오 푸, 하오 펭, 아시쉬 사바왈, 피터 클라크, 투샤르 코트

대규모 언어 모델에서 자동 사고 연쇄 유도 2022년 10월 7일

Zhuosheng Zhang, Aston Zhang, Mu Li, 알렉스 스몰라

상황 내 학습을 통한 알고리즘 추론 교육 2022년 11월 15일

해티 저우, 아자데 노바, 휴고 라로셸, 아론 쿠르빌, 베남 네이샤부르, 하니 세드기

대규모 언어 모델은 자체 검증을 통한 추론입니다 . 2022년 12월 19일

Yixuan Weng, Minjun Zhu, Shizhu He, Kang Liu, Jun Zhao

문제 분해

최소 대 최대 프롬프트는 대규모 언어 모델에서 복잡한 추론을 가능하게 합니다 2022년 5월 21일

Denny Zhou, Nathanael Schärli, Le Hou, Jason Wei, Nathan Scales, Xuezhi Wang, Dale Schuurmans, Claire Cui, Olivier Bousquet, Quoc Le, Ed Chi

대규모 언어 모델을 사용한 구성 의미론적 구문 분석 2022년 9월 29일

Andrew Drozdov, Nathanael Schärli, Ekin Akyürek, Nathan Scales, Xinying Song, Xinyun Chen, Olivier Bousquet, Denny Zhou

분해된 프롬프트: 복잡한 작업을 해결하기 위한 모듈식 접근 방식 2022년 10월 5일

투샤르 코트, 하쉬 트리베디, 매튜 핀레이슨, 야오 푸, 카일 리차드슨, 피터 클라크, 아시쉬 사바왈

언어 모델의 구성성 격차 측정 및 축소 2022년 10월 7일

Ofir Press, Muru Zhang, Sewon Min, Ludwig Schmidt, Noah A. Smith, Mike Lewis

복잡한 질문을 분해하기 위한 연속적인 프롬프트 2022년 12월 8일

데히루 두아, 시반슈 굽타, 사미어 싱, 맷 가드너

대규모 언어 모델은 다목적 분해자입니다: 테이블 기반 추론을 위한 증거 및 질문 분해 2023년 1월 31일

Yunhu Ye, Binyuan Hui, Min Yang, Binhua Li, Fei Huang, Yongbin Li

기타

제로샷 플래너로서의 언어 모델: 구현된 에이전트에 대한 실행 가능한 지식 추출 2022년 1월 18일

황원롱, 피터 아빌, 디팍 파탁, 이고르 모르다치

선택 추론: 해석 가능한 논리적 추론을 위한 대규모 언어 모델 활용 2022년 5월 19일

안토니아 크레스웰, 머레이 샤나한, 이리나 히긴스

Maieutic Prompting: 재귀적 설명을 통한 논리적으로 일관된 추론 2022년 5월 24일

정재훈, 진리안휘, 션 웰렉, 페이즈 브라만, 찬드라 바가바툴라, 로난 르 브라스, 최예진

대규모 언어 모델을 사용한 충실한 추론 2022년 8월 30일

안토니아 크레스웰, 머레이 샤나한

설명하는 방법 배우기: 과학 질문 답변을 위한 사고 사슬을 통한 다중 모드 추론 2022년 9월 20일

Pan Lu, Swaroop Mishra, Tony Xia, Liang Qiu, Kai-Wei Chang, Song-Chun Zhu, Oyvind Tafjord, Peter Clark, Ashwin Kalyan

대규모 언어 모델의 설명이 소규모 추론을 더 좋게 만듭니다 2022년 10월 13일

Shiyang Li, Jianshu Chen, Yelong Shen, Zhiyu Chen, Xinlu Zhang, Zekun Li, Hong Wang, Jing Qian, Baolin Peng, Yi Mao, Wenhu Chen, Xifeng Yan

의미론적 분해를 통해 대규모 언어 모델의 다단계 추론 기능을 더 작은 모델로 증류 2022년 12월 1일

쿠마르 슈리다르, 알레산드로 스톨포, 므린마야 사찬

2022년 12월 16일 추론에 대한 소규모 언어 모델 교육

루시 샬롯 마지스터, 조나단 말린슨, 야쿠브 아다멕, 에릭 말미, 알리악세이 세베린

LAMBADA: 자연어 자동 추론을 위한 역방향 연결 2022년 12월 20일

Seyed Mehran Kazemi, 김나정, Deepti Bhatia, Xin Xu, Deepak Ramachandran

언어 모델을 사용한 추론은 세계 모델을 계획하고 있습니다 . 2023년 5월 24일

Shibo Hao, Yi Gu, Haodi Ma, Joshua Jiahua Hong, Zhen Wang, Daisy Zhe Wang, Zhiting Hu

하이브리드 방식

추론이 강화된 훈련 및 유도

프로그램 실행자처럼 추론하기 2022년 1월 27일

Xinyu Pi, Qian Liu, Bei Chen, Morteza Ziyadi, Zeqi Lin, Qiang Fu, Yan Gao, Jian-Guang Lou, Weizhu Chen

언어 모델을 사용한 정량적 추론 문제 해결 2022년 6월 29일

아이토르 루코비치, 안데르스 안드레아센, 데이비드 도한, 에단 다이어, 헨리크 미할레프스키, 비나이 라마세시, 앰브로스 슬론, 셈 아닐, 이마놀 슐라그, 테오 구트만-솔로, 유화이 우, 베남 네이샤부르, 가이 구르아리, 베단트 미스라

대규모 언어 모델의 길이 일반화 탐색 2022년 7월 11일

셈 아닐, 유화이 우, 안데르스 안드레아센, 아이토르 루코비치, 베단트 미스라, 비나이 라마세시, 암브로스 슬론, 가이 구르아리, 에단 다이어, 베남 네이샤부르

스케일링 명령어 - 미세 조정된 언어 모델 2022년 10월 20일

정형원, Le Hou, Shayne Longpre, Barret Zoph, Yi Tay, William Fedus, Yunxuan Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, 알렉스 카스트로 로스, 마리 펠라, 케빈 로빈슨, 다샤 발터, 샤란 나랑, Gaurav Mishra, Adams Yu, Vincent Zhao, Yanping Huang, Andrew Dai, Hongkun Yu, Slav Petrov, Ed H. Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc V. Le, Jason Wei

Galactica: 과학을 위한 대규모 언어 모델 2022년 11월 16일

로스 테일러, 마르신 카다스, 길렘 쿠쿠룰, 토마스 시알롬, 앤서니 하트쇼른, 엘비스 사라비아, 앤드류 풀턴, 빅토르 케르케즈, 로버트 스토닉

경고: 추론 작업에 언어 모델 적용 2022년 12월 16일

핑 유, 티안루 왕, 올가 골로브네바, 바드르 알카미시, 가르기 고쉬, 모나 디아브, 아슬리 셀리킬마즈

부트스트랩핑 및 자체 개선

STAR: 추론을 통한 부트스트래핑 추론 2022년 3월 28일

에릭 젤리크만, 우 위화이, 제시 무, 노아 D. 굿맨

언어 모델은 스스로 학습하여 더 나은 프로그래밍을 할 수 있습니다 2022년 7월 29일

패트릭 할럽조크, 매튜 바워스, 아담 타우만 칼라이

대형 언어 모델은 자체 개선 가능 2022년 10월 20일

Jiaxin Huang, Shixiang Shane Gu, Le Hou, Yuexin Wu, Xuezhi Wang, Hongkun Yu, Jiawei Han

평가 및 분석

NLP 모델이 실제로 간단한 수학 단어 문제를 해결할 수 있습니까? 2021년 3월 12일

아킬 파텔, 사트윅 바타미쉬라, 나빈 고얄

Few-Shot 추론에 대한 사전 훈련 기간 빈도의 영향 2022년 2월 15일

야사만 라제기, 로버트 L. 로건 4세, 매트 가드너, 사미어 싱

사전 훈련된 대규모 언어 모델이 귀하의 개인 정보를 유출하고 있습니까? 2022년 5월 25일

Jie Huang, Hanyin Shao, Kevin Chen-Chuan Chang

대규모 언어 모델은 여전히 ​​계획을 세울 수 없습니다(변화에 대한 계획 및 추론에 대한 LLM 벤치마크) 2022년 6월 21일

카르틱 발미캄, 알베르토 올모, 사라스 스리드하란, 수바라오 캄밤파티

대규모 언어 모델의 길이 일반화 탐색 2022년 7월 11일

셈 아닐, 유화이 우, 안데르스 안드레아센, 아이토르 루코비치, 베단트 미스라, 비나이 라마세시, 암브로스 슬론, 가이 구르아리, 에단 다이어, 베남 네이샤부르

언어 모델은 추론에 인간과 유사한 콘텐츠 효과를 보여줍니다 . 2022년 7월 14일

Ishita Dasgupta, Andrew K. Lampinen, Stephanie CY Chan, Antonia Creswell, Dharshan Kumaran, James L. McClelland, 펠릭스 힐

FOLIO: 1차 논리를 사용한 자연어 추론 2022년 9월 2일

Simeng Han, Hailey Schoelkopf, Yilun Zhao, Zhenting Qi, Martin Riddell, Luke Benson, Lucy Sun, Ekaterina Zubova, Yujie Qiao, Matthew Burtell, David Peng, Jonathan Fan, Yixin Liu, Brian Wong, Malcolm Sailor, Ansong Ni, Linyong Nan , 카사이 준고(Jungo Kasai), 타오 유(Tao Yu), 루이 장(Rui Zhang), 샤피크 조티(Shafiq Joty), 알렉산더 R. 파브리(Alexander R. Fabbri), Wojciech Kryscinski, Xi Victoria Lin, Caiming Xiong, Dragomir Radev

언어 모델은 탐욕스러운 추론자입니다: 사고 사슬의 체계적이고 형식적인 분석 2022년 10월 3일

아불헤어 사파로프, 헤헤

도전적인 대규모 작업과 사고 사슬로 문제를 해결할 수 있는지 여부 2022년 10월 17일

Mirac Suzgun, Nathan Scales, Nathanael Schärli, Sebastian Gehrmann, Yi Tay, 정형원, Aakanksha Chowdhery, Quoc V. Le, Ed H. Chi, Denny Zhou, Jason Wei

대규모 언어 모델은 제로샷 커뮤니케이터가 아닙니다 . 2022년 10월 26일

로라 루이스, 악비르 칸, 스텔라 비더만, 사라 후커, 팀 록태셸, 에드워드 그레펜스테트

ROSCOE: 단계별 추론을 위한 일련의 측정항목 2022년 12월 15일

올가 골로브네바, 모야 첸, 스펜서 포프, 마틴 코레도르, 루크 제틀모이어, 마리암 파젤-자란디, 아슬리 셀리킬마즈

사고 사슬 프롬프트 이해를 향하여: 무엇이 중요한지에 대한 실증적 연구 2022년 12월 20일

Boshi Wang, 민세원, Xiang Deng, Jiaming Shen, You Wu, Luke Zettlemoyer, Huan Sun

소환

이 저장소가 유용하다고 생각되면 설문조사를 친절하게 인용해 주세요.

 @article{huang2022towards,
  title={Towards Reasoning in Large Language Models: A Survey},
  author={Huang, Jie and Chang, Kevin Chen-Chuan},
  journal={arXiv preprint arXiv:2212.10403},
  year={2022}
}