Awesome LLM Uncertainty Reliability Robustness
1.0.0
UR2-LLMs 라고 불리는 이 저장소에는 대규모 언어 모델 의 불확실성 , 신뢰성 및 견고성 에 관한 리소스 및 논문 모음이 포함되어 있습니다.
" 대규모 언어 모델은 신뢰성, 이해, 범위가 제한되어 있으므로 사람의 감독이 필요합니다 ." - Michael Osborne, 옥스퍼드 대학교 공학과 기계 학습 교수, 2023년 1월 25일
이 분야에 대한 귀하의 논문, 생각 및 아이디어를 공유하는 것을 환영합니다!
GPT는 신뢰할 수 없는 정보 저장소입니다.
노블 애커슨
[링크]
2023년 2월 20일
대규모 언어 모델의 "오용"과 MT의 미래
아르레 롬멜
[링크]
2022년 12월 20일
대규모 언어 모델: 기본 사항 및 적용
마고 포다
[링크]
2023년 2월 9일
신속한 엔지니어링: 대응 및 신뢰성 향상
피터 포이
[링크]
2023년 3월 19일
신뢰성을 향상시키는 기술에 관한 OpenAI의 요리책
오픈AI
[깃허브]
2023년 3월 18일
GPT/보정 태그
그웨른 브란웬
[링크]
신속한 엔지니어링
릴리안 웽
[링크]
LLM 기반 자율 에이전트
릴리안 웽
[링크]
학습 유도의 신뢰성
[링크]
프로덕션용 LLM 애플리케이션 구축
칩 후옌
[링크]
2023년 4월 11일
GPT-4 기술 보고서
오픈AI
arXiv 2023. [논문][요리책]
2023년 3월 16일
GPT-4 시스템 카드
오픈AI
arXiv 2023. [논문] [Github]
2023년 3월 15일
자연어 처리에 대한 불확실성 추정
아담 피쉬, 로빈 지아, 탈 슈스터
COLLING 2022. [홈페이지]
더 넓고 더 깊은 LLM 네트워크는 더 공정한 LLM 평가자입니다.
Xinghua Zhang, Bowen Yu, Haiyang Yu, Yangyu Lv, Tingwen Liu, Fei Huang, Hongbo Xu, Yongbin Li
arXiv 2023. [논문][Github]
2023년 8월 3일
대규모 언어 모델 평가에 관한 설문 조사
Yupeng Chang, Xu Wang, Jindong Wang, Yuan Wu, Kaijie Zhu, Hao Chen, Linyi Yang, Xiaoyuan Yi, Cunxiang Wang, Yidong Wang, Wei Ye, Yue Zhang, Yi Chang, Philip S. Yu, Qiang Yang, Xing Xie
Arxiv 2023. [논문][Github]
2023년 7월 6일
DecodingTrust: GPT 모델의 신뢰성에 대한 종합적인 평가
Boxin Wang, Weixin Chen, Hengzhi Pei, Chulin Xie, Mintong Kang, Chenhui Zhang, Chejian Xu, Zidi Xiong, Ritik Dutta, Rylan Schaeffer, Sang T. Truong, Simran Arora, Mantas Mazeika, Dan Hendrycks, Zinan Lin, Yu Cheng, 코예조 산미, 새벽송, Bo Li
Arxiv, 2023. [논문] [Github] [웹사이트]
2023년 6월 20일
ChatGPT에서 우리는 신뢰합니까? ChatGPT의 신뢰성 측정 및 특성화
Xinyue Shen, Zeyuan Chen, 마이클 백스, 양 장
arXiv, 2023. [논문]
2023년 4월 18일
실제로 LLM의 힘 활용: ChatGPT 및 그 이상에 대한 설문조사
Jingfeng Yang, Hongye Jin, Ruixiang Tang, Xiaotian Han, Qizhang Feng, Haoming Jiang, Bing Yin, Xia Hu
arXiv 2023. [논문][Github]
2023년 4월 27일
GPT-3.5는 전임자에게 얼마나 강력합니까? 언어이해 과제에 관한 종합적 연구
Xuanting Chen, Junjie Ye, Can Zu, Nuo Xu, Rui Zheng, Minlong Peng, Jie Zhou, Tao Gui, Qi Zhang, Xuanjing Huang
arXiv 2023. [논문][Github]
2023년 3월 1일
언어 모델의 전체적인 평가
Percy Liang, Rishi Bommasani, Tony Lee, Dimitris Tsipras, Dilara Soylu, Michihiro Yasunaga, Yian Zhang, Deepak Narayanan, Yuhuai Wu, Ananya Kumar, Benjamin Newman, Binhang Yuan, Bobby Yan, Ce Zhang, Christian Cosgrove, Christopher D. Manning, 크리스토퍼 레, 다이아나 아코스타-나바스, 드류 A. 허드슨, 에릭 젤리크만, Esin Durmus, Faisal Ladhak, Frieda Rong, Hongyu Ren, Huaxiu Yao, Jue Wang, Keshav Santhanam, Laurel Orr, Lucia Zheng, Mert Yuksekgonul, Mirac Suzgun, Nathan Kim, Neel Guha, Niladri Chatterji, Omar Khattab, Peter Henderson, Qian Huang , Ryan Chi, Sang Michael Xie, Shibani Santurkar, 수리야 강굴리, 타츠노리 Hashimoto, Thomas Icard, Tianyi Zhang, Vishrav Chaudhary, William Wang, Xuechen Li, Yifan Mai, Yuhui Zhang, Yuta Koreeda
arXiv 2022. [논문] [웹사이트] [Github] [블로그]
2022년 11월 16일
GPT-3의 신뢰성 촉구
Chenglei Si, Zhe Gan, Zhengyuan Yang, Shuohang Wang, Jianfeng Wang, Jordan Boyd-Graber, Lijuan Wang
ICLR 2023. [논문] [Github]
2022년 10월 17일
Plex: 사전 훈련된 대형 모델 확장을 사용한 안정성을 향하여
Dustin Tran, Jeremiah Liu, Michael W. Dusenberry, Du Phan, Mark Collier, Jie Ren, Kehang Han, Zi Wang, Zelda Mariet, Huiyi Hu, Neil Band, Tim GJ Rudner, Karan Singhal, Zachary Nado, Joost van Amersfoort, Andreas Kirsch, Rodolphe Jenatton, Nithum Thain, Honglin Yuan, Kelly Buchanan, Kevin Murphy, D. 스컬리, 야린 갈, 주빈 가흐라마니, 재스퍼 스눅, 발라지 락쉬미나라야난
arXiv 2022. [논문]
2022년 7월 15일
언어 모델(대부분)은 자신이 아는 것을 알고 있습니다.
사우라브 카다바스, 톰 코너리, 아만다 아스켈, 톰 헤니한, 던 드레인, 에단 페레즈, 니콜라스 시퍼, 잭 햇필드-도즈, 노바 다사마, 엘리 트란-존슨, 스콧 존스턴, 쉬어 엘-쇼크, 앤디 존스, 넬슨 엘헤이지, 트리스탄 흄 , Anna Chen, Yuntao Bai, Sam Bowman, Stanislav Fort, Deep Ganguli, Danny Hernandez, 조쉬 제이콥슨, 잭슨 커니온, 쇼나 크라벡, 리안 로비트, 카말 엔두세, 캐서린 올슨, 샘 링거, 다리오 아모데이, 톰 브라운, 잭 클락, 니콜라스 조셉, 벤 맨, 샘 맥캔들리시, 크리스 올라, 자레드 카플란
arXiv 2022. [논문]
2022년 7월 11일
증강 언어 모델: 설문조사
Grégoire Mialon, Roberto Dessì, Maria Lomeli, Christoforos Nalmpantis, Ram Pasunuru, Roberta Raileanu, Baptiste Rozière, Timo Schick, Jane Dwivedi-Yu, Asli Celikyilmaz, Edouard Grave, Yann LeCun, Thomas Scialom
arXiv 2023. [논문]
2023년 2월 15일
NLG 시스템에 사용되는 평가 지표 조사
Ananya B. Sai, Akash Kumar Mohankumar, Mitesh M. Khapra
ACM 컴퓨팅 설문조사, 2022. [논문]
2022년 1월 18일
NL-Augmenter: 작업에 민감한 자연어 보강을 위한 프레임워크
Kaustubh D. Dhole 외.
ACL 2021. [논문][Github]
2021년 12월 6일
TextFlint: 자연어 처리를 위한 통합 다국어 견고성 평가 툴킷
Tao Guiet al.
arXiv 2021. [논문][Github]
2021년 3월 21일
Robustness Gym: NLP 평가 환경 통합
카란 고엘, 나즈닌 라자니, 제시 비그, 삼손 탄, 제이슨 우, 스테판 정, 카이밍 시옹, 모히트 반살, 크리스토퍼 레
ACL 2021. [논문] [Github]
2021년 1월 13일
정확성을 넘어서: CheckList를 사용한 NLP 모델의 동작 테스트
마르코 툴리오 리베이로, 우퉁솽, 카를로스 게스트린, 사미르 싱
ACL 2020. [논문][Github]
2020년 5월 8일
BLoB: 대규모 언어 모델에 대한 역전파를 통한 베이지안 저순위 적응
Yibin Wang, Haizhou Shi, Ligong Han, Dimitris Metaxas, Hao Wang
arXiv 2024. [논문]
2024년 6월 18일
LLM에 대한 불확실성 추정 및 정량화: 간단한 감독 접근 방식
리우 린위, 판 위, 리샤오청, 첸 관팅
arXiv 2024. [논문]
2024년 4월 24일
관련성에 대한 관심 전환: 대규모 언어 모델의 불확실성 추정을 향하여
Jinhao Duan, Hao Cheng, Shiqi Wang, Alex Zavalny, Chenan Wang, Renjing Xu, Bhavya Kailkhura, Kaidi Xu
arXiv 2023. [논문]
2023년 10월 9일
도약하기 전에 살펴보기: 대규모 언어 모델의 불확실성 측정에 대한 탐색적 연구
Yuheng Huang, Jiayang Song, Zhijie Wang, Shengming Zhao, Huaming Chen, Felix Juefei-Xu, Lei Ma
arXiv 2023. [논문]
2023년 7월 16일
대규모 언어 모델의 자연어 설명의 불확실성 정량화
스리 하르샤 타네루, 치라그 아가르왈, 히마빈두 라카라주
arXiv 2023. [논문]
2023년 11월 6일
등각 자기회귀 생성: 커버리지 보장을 통한 빔 검색
니콜라스 도이치만, 마빈 알베르츠, 마리아 로드리게스 마르티네즈
arXiv 2023. [논문]
2023년 9월 7일
모든 언어 모델의 답변에 대한 불확실성을 정량화하고 신뢰성 향상
지우하이 첸, 조나스 뮬러
arXiv 2023. [논문]
2023년 8월 30일
자연어 생성의 불확실성: 이론에서 응용까지
요리스 반, 니코 다하임, 에브게니아 일리아, 데니스 울머, 하우싱 리, 라켈 페르난데스, 바바라 플랭크, 리코 센리히, 크리졸라 제르바, 윌커 아지즈
arXiv 2023. [논문]
2023년 7월 28일
자신감 있는 생성: 블랙박스 대형 언어 모델에 대한 불확실성 정량화
Zhen Lin, Shubhendu Trivedi, Jimeng Sun
arXiv 2023. [논문] [Github]
2023년 5월 30일
개념 기반 AI 시스템의 인간 불확실성
캐서린 M. 콜린스, 매튜 바커, 마테오 에스피노사 자르렌가, 나빈 라만, 우망 바트, 마테자 잠닉, 일리아 수콜루츠키, 아드리안 웰러, 크리슈나무르티 드비요탐
arXiv 2023. [논문]
2023년 3월 22일
회색 영역 탐색: 언어 모델의 과신과 불확실성 표현
케이틀린 저우, 댄 주라프스키, 하시모토 타츠노리
arXiv 2023. [논문]
2023년 2월 25일
DEUP: 직접적인 인식론적 불확실성 예측
살렘 라흐루, 목쉬 자인, 하디 네코에이, 빅터 이온 부토이, 폴 버틴, 자리드 렉터-브룩스, 막심 코라블리오프, 요슈아 벤지오
TMLR 2023. [논문]
2023년 2월 3일
Seq2seq 그래프 구문 분석을 위한 조성 불확실성 정량화
Zi Lin, Du Phan, Panupong Pasupat, Jeremiah Zhe Liu, Jingbo Shang
ICLR 2023. [논문]
2023년 2월 1일
구성 불확실성 정량화를 통한 강력한 자기회귀 그래프 구문 분석을 위한 신경 기호 추론
Zi Lin, Jeremiah Liu, Jingbo Shang
EMNLP 2022. [논문]
2023년 1월 16일
불확실성을 말로 표현하는 모델 교육
스테파니 린, 제이콥 힐튼, 오웨인 에반스
TMLR 2022. [논문] [Github] [TMLR] [슬라이드]
2022년 5월 28일
의미론적 불확실성: 자연어 생성의 불확실성 추정을 위한 언어적 불변성
로렌츠 쿤, 야린 갈, 세바스티안 파쿠하르
ICLR 2023. [논문]
2022년 2월 19일
Few-shot 언어 모델 미세 조정을 위한 콜드 스타트 데이터 선택: 프롬프트 기반 불확실성 전파 접근 방식
Yue Yu, Rongzhi Zhang, Ran Xu, Jieyu Zhang, Jiaming Shen, Chao Zhang
arXiv 2022. [논문][Github]
2022년 9월 15일
인식 신경망을 통한 언어 모델 미세 조정
이안 오스반드, 세예드 모하마드 아스가리, 벤자민 반 로이, 냇 맥앨리스, 존 아슬라니데스, 제프리 어빙
arXiv 2022. [논문][Github]
2022년 11월 3일
사전 훈련된 언어 모델을 사용한 불확실성 정량화: 대규모 실증 분석
Yuxin Xiao, Paul Pu Liang, Umang Bhatt, Willie Neiswanger, Ruslan Salakhutdinov, Louis-Philippe Morency
EMNLP 2022(결과). [논문][Github]
2022년 10월 10일
언어 보상 모델의 불확실성 추정
아담 글리브, 제프리 어빙
arXiv 2022. [논문]
2022년 3월 14일
텍스트 회귀를 위한 사전 훈련된 모델의 불확실성 추정 및 감소
Yuxia Wang, 다니엘 벡, 티모시 볼드윈, 카린 베르스포어
TACL 2022. [논문]
2022년 6월
자기회귀 구조적 예측의 불확실성 추정
안드레이 말린닌, 마크 게일스
ICLR 2021. [논문]
2020년 2월 18일
신경 기계 번역에 대한 비지도 품질 평가
마리나 포미체바, 슈오 선, 리사 얀코브스카야, 프레데릭 블레인, 프란시스코 구즈만, 마크 피셸, 니콜라오스 알레트라스, 비슈라브 초드하리, 루시아 스페시아
TACL 2020. [논문][데이터세트]
2020년 5월 21일
신경 기계 번역의 불확실성 분석
마일 오트, 마이클 아우리, 데이빗 그랜지에, 마르크 아우렐리오 란자토
ICML 2018. [논문]
2018
배치 교정: 상황에 맞는 학습 및 신속한 엔지니어링을 위한 교정 재고
Han Zhou, Xingchen Wan, Lev Proleev, Diana Mincu, Jilin Chen, 캐서린 헬러, Subhrajit Roy
ICLR 2024. [논문] 2024년 1월 24일
대규모 언어 모델은 자신이 모르는 것을 알고 있습니까?
Zhangyue Yin, Qiushi Sun, Qipeng Guo, Jiawen Wu, Xipeng Qiu, Xuanjing Huang
arXiv 2023. [논문] 2023년 5월 29일
보정을 요청하세요: 사람의 피드백을 통해 미세 조정된 언어 모델에서 보정된 신뢰도 점수를 도출하기 위한 전략
캐서린 티안, 에릭 미첼, 앨런 저우, 아키트 샤르마, 라파엘 라파일로프, 화슈 야오, 첼시 핀, 크리스토퍼 D. 매닝
arXiv 2023. [논문]
2023년 5월 24일
신뢰할 수 있는 잘못된 정보 완화를 향하여: 일반화, 불확실성 및 GPT-4
켈린 펠린, 메일리나 렉소프로조, 칼렙 굽타, 조엘 크리스토프, 레이하네 라바니
arXiv 2023. [논문]
2023년 5월 24일
보정된 해석: 의미론적 구문 분석의 신뢰도 추정
엘리아스 스텐겔-에스킨, 벤자민 반 두르메
arXiv 2022. [논문] [Github]
2022년 11월 14일.
시퀀스 가능성을 보정하면 조건부 언어 생성이 향상됩니다.
야오 자오, 미샤 칼만, 리샤브 조시, 샤시 나라얀, 모하마드 살레, 피터 J. 리우
ICLR 2023. [논문]
2022년 9월 30일
보정된 선택적 분류
아담 피쉬, 토미 Jaakkola, 레지나 바르질레이
TMLR 2022. [논문]
2022년 8월 25일
언어 교정을 통해 대화 상담원의 과신 감소
사브리나 J. 미엘케, 아서 슬램, 에밀리 디난, 와이-란 부로
NAACL 2022. [논문]
2022년 6월 22일
교정 재검토: 질의 응답 사례
Chenglei Si, Chen Zhao, Sewon Min, Jordan Boyd-Graber
EMNLP 2022 결과. [종이]
2022년 5월 25일
불확실성을 통한 협력적 신경 기호 그래프 의미 분석을 향하여
Zi Lin, Jeremiah Liu, Jingbo Shang
ACL Fingings 2022. [논문]
2022년 5월 22일
불확실성 인식 기계 번역 평가
타이시야 글루시코바, 크리졸라 제르바, 리카르도 레이, 앙드레 FT 마틴스
EMNLP 2021. [논문]
2021년 9월 13일
사용 전 보정: 언어 모델의 Few-Shot 성능 향상
토니 Z. 자오, 에릭 월리스, 시 펑, 댄 클라인, 사미어 싱
ICML 2021. [논문][Github
2021년 2월 19일
언어 모델이 언제 알 수 있는지 어떻게 알 수 있습니까? 질문 응답을 위한 언어 모델 보정에 관하여
Zhengbao Jiang, Jun Araki, Haibo Ding, Graham Neubig
TACL 2021. [논문][Github]
2020년 12월 2일
사전 훈련된 변압기의 교정
슈리 데사이, 그렉 듀렛
EMNLP 2020. [논문][Github]
2020년 5월 17일
설명 트리: 검색 증강 대형 언어 모델을 사용하여 모호한 질문에 답변
김강우, 김성동, 전병국, 박준석, 강재우
EMNLP 2023. [논문][Github]
2023년 10월 23일
모호한 질문에 선택적으로 대답하기
Jeremy R. Cole, Michael JQ Zhang, Daniel Gillick, Julian Martin Eisenschlos, Bhuwan Dhingra, Jacob Eisenstein arXiv 2023. [논문]
2023년 5월 24일
언어 모델은 모호성을 모델링하지 못하는 것이 두렵습니다 Alisa Liu, Zhaofeng Wu, Julian Michael, Alane Suhr, Peter West, Alexander Koller, Swabha Swayamdipta, Noah A. Smith, 최예진
arXiv 2023. [논문][Github]
2023년 4월 24일
인간과 언어 모델의 작업 모호성
알렉스 탐킨, 쿠날 한다, 아바쉬 슈레스타, 노아 굿맨
ICLR 2023. [논문][Github]
2022년 12월 20일
CLAM: 생성 언어 모델을 사용한 모호한 질문에 대한 선택적 설명
로렌츠 쿤, 야린 갈, 세바스티안 파쿠하르
arXiv 2022. [논문]
2022년 12월 15일
대화형 검색에서 모호한 쿼리에 접근하는 방법: 기술, 접근 방식, 도구 및 과제에 대한 조사
키미야 키반, 지미 샹지 황
ACM 컴퓨팅 설문조사, 2022. [논문]
2022년 12월 7일
대규모 언어 모델 지원
드미트리 크라셰닌니코프, 이고르 크라셰닌니코프, 데이비드 크루거
NeurIPS MLSW 워크숍 2022. [논문]
2022년 12월 5일
닭이 길을 건너는 이유는 무엇입니까? VQA의 모호한 질문을 바꿔서 분석하기
엘리아스 스텐겔-에스킨, 히메나 구알라-블라스코, 이 저우, 벤자민 반 두르메
arXiv 2022. [논문][Github]
2022년 11월 14일
Abg-CoQA: 대화형 질문 응답의 모호성 명확화
메이치 구오, 밍다 장, 시바 레디, 말리헤 알리카니
AKBC 2021. [논문]
2021년 6월 22일
대규모 언어 모델의 자신감-역량 격차: 인지 연구
아니켓 쿠마르 싱, 수만 데브코타, 비샬 라미크하네, 우탐 다칼, 찬드라 다칼
arXiv 2023. [논문]
2023년 9월 28일
숫자의 강점: 신속한 합의를 통한 대규모 언어 모델의 신뢰도 추정
그웨니스 포르틸로 와이트먼, 알렉산드라 델루시아, 마크 드레제
ACL TrustNLP 워크숍 2023. [논문]
2023년 7월 1일
ChatGPT와 같은 LLM에서 생성된 콘텐츠를 감지하는 다양한 접근 방식은 무엇입니까? 그리고 그것들은 어떻게 작동하고 다른가요?
세바스티안 라슈카
[링크] [GPTZero]
2023년 2월 1일
DetectGPT: 확률 곡률을 사용한 제로샷 기계 생성 텍스트 감지
에릭 미첼, 이윤호, 알렉산더 카자츠키, 크리스토퍼 D. 매닝, 첼시 핀
arXiv 2023. [논문][웹사이트]
2023년 1월 26일
자신감 있는 적응형 언어 모델링
탈 슈스터, 아담 피쉬, 자이 굽타, 모스타파 데가니, 다라 바리, 빈 Q. 트란, 이 테이, 도널드 메츨러
NeurIPS 2022. [논문] 2022년 10월 25일
컨포멀 위험 제어
아나스타시오스 엔 앙겔로풀로스, 스티븐 베이츠, 아담 피쉬, 리후아 레이, 탈 슈스터
arXiv 2022. [논문][Github]
2022년 8월 4일
자연어 처리를 위한 능동 학습 조사
장지송, 엠마 스트루벨, 에두아르드 호비
EMNLP 2022. [논문][Github]
2022년 10월 18일
대규모 언어 모델에 대한 사고 사슬을 통한 능동적 프롬프트
Shizhe Diao, Pengcheng Wang, Yong Lin, Tong Zhang
arXiv 2023. [논문][Github]
2023년 2월 23일
언어 모델 미세 조정을 위한 저자원 대화형 활성 라벨링
마에카와 세이지, 단 장, 김한나, 사자두르 라만, 에스테밤 흐루슈카
EMNLP 조사 결과 2022. [논문]
2022년 12월 7일
도메인 외부 데이터를 사용하면 라벨을 적게 붙일 수 있나요? Few-shot 지침을 사용한 능동 및 전이 학습
Rafal Kocielnik, Sara Kangaslahti, Shrimai Prabhumoye, Meena Hari, R. Michael Alvarez, Anima Anandkumar
NeurIPS 워크숍 2022. [논문]
2022년 11월 21일
AfroLM: 23개 아프리카 언어에 대한 자가 능동 학습 기반 다국어 사전 훈련된 언어 모델
Bonaventure FP Dossou, Atnafu Lambebo Tonja, Oreen Yousuf, Salomey Osei, Abigail Oppong, Iyanuoluwa Shode, Oluwabusayo Olufunke Awoyomi, Chris Chinennye Emezue
EMNLP 2022. [논문][Github]
2022년 11월 7일
능동적 학습은 사전 훈련된 모델이 의도한 작업을 학습하는 데 도움이 됩니다.
알렉스 탐킨, 닷 팜 응우옌, 살릴 데쉬판데, 제시 무, 노아 굿맨
NeurIPS 2022. [논문][Github]
2022년 10월 31일
선택적 주석으로 언어 모델이 더 향상됩니다.
수홍진, 카사이 준고, 첸 헨리 우, 웨이지아 시, 왕 티안루, 지아이 신, 루이 장, 마리 오스텐도르프, 루크 제틀모이어, 노아 A. 스미스, 타오 유
ICLR 2023. [논문][Github]
2022년 9월 5일
사전 훈련된 Transformer 기반 모델을 위한 다중 작업 능동 학습
가이 로트먼, 로이 라이차트
TACL 2022. [논문] [Github]
2022년 8월 10일
AcTune: 사전 훈련된 언어 모델의 능동적 미세 조정을 위한 불확실성 기반 능동적 자가 훈련
Yue Yu, Lingkai Kong, Jieyu Zhang, Rongzhi Zhang, Chao Zhang
NAACL-HLT2022. [논문] [Github]
2022년 7월 10일
계산적으로 실현 가능한 심층 능동 학습을 향하여
Akim Tsvigun, Artem Shelmanov, Gleb Kuzmin, Leonid Sanochkin, Daniil Larionov, Gleb Gusev, Manvel Avetisian, Leonid Zhukov
NAACL 2022. [논문] [Github]
2022년 5월 7일
FAMIE: 다국어 정보 추출을 위한 빠르고 능동적인 학습 프레임워크
Minh Van Nguyen, Nghia Trung Ngo, Bonan Min, Thien Huu Nguyen
NAACL 2022. [논문] [Github]
2022년 2월 16일
능동적 학습을 위해 사전 훈련된 언어 모델을 효과적으로 적용하는 것의 중요성
카테리나 마르가티나, 로익 바로, 니콜라오스 알레트라
ACL 2022. [논문]
2022년 3월 2일
Deep Transformer 언어 모델을 사용한 능동 학습의 한계
마이크 다시, 더그 다우니
Arxiv 2022. [논문]
2022년 1월 28일
대조 사례 획득을 통한 능동적 학습
카테리나 마르가티나, 조르고스 베르니코스, 로익 바로, 니콜라오스 알레트라
EMNLP 2021. [논문][Github]
2021년 9월 8일
Transformers를 사용한 능동 학습을 위한 불확실성 기반 쿼리 전략 재검토
크리스토퍼 슈뢰더, 안드레아스 니클러, 마틴 포타스트
ACL 2022 결과. [논문][Github]
2021년 7월 12일
심층적으로 사전 훈련된 모델과 베이지안 불확실성 추정을 사용한 시퀀스 태깅을 위한 능동 학습
Artem Shelmanov, Dmitri Puzyrev, Lyubov Kupriyanova, Denis Belyakov, Daniil Larionov, Nikita Khromov, Olga Kozlova, Ekaterina Artemova, Dmitry V. Dylov, Alexander Panchenko
EACL 2021. [논문]
2021년 2월 18일
능동 학습을 통한 저자원 자연어 이해를 위한 BERT 미세 조정
다니엘 그리하버, 요하네스 마우쉐, 응옥탕부
COLING 2020. [논문]
2020년 12월 4일
놀라운 환각 감지
HallusionBench: 대형 시각 언어 모델의 얽힌 언어 환각 및 시각적 환상에 대한 고급 진단 제품군
Tianrui Guan*, Fuxiao Liu*, Xiyang Wu, Ruiqi Xian, Zongxia Li, Xiaoyu Liu, Xijun Wang, Lichang Chen, Furong Huang, Yaser Yacoob, Dinesh Manocha, Tianyi Zhou
CVPR 2024. [논문][Github]
2024년 3월 18일
낭
Jiaxin Zhang, Zhuohang Li, Kamalika Das, 브래들리 A. 말린, Sricharan Kumar
EMNLP 2023. [논문][Github]
2023년 11월 3일
환각 리더보드
벡터라
[링크]
2023년 11월 2일
사실성을 넘어서: 지식 생성기로서의 대규모 언어 모델에 대한 종합적인 평가
Liang Chen, Yang Deng, Yatao Bian, Zeyu Qin, Bingzhe Wu, Tat-Seng Chua, Kam-Fai Wong
EMNLP 2023. [논문][Github]
2023년 10월 12일
검증 체인은 대규모 언어 모델에서 환각을 줄입니다.
Shehzaad Dhuliawala, Mojtaba Komeili, Jing Xu, Roberta Raileanu, Xian Li, Asli Celikyilmaz, Jason Weston
arXiv 2023. [논문]
2023년 9월 20일
언어 모델은 환각 참조를 언제 알 수 있습니까?
아유시 아그라왈, 레스터 맥키, 아담 타우만 칼라이
arXiv 2023. [논문]
2023년 5월 29일.
대규모 언어 모델의 자기모순적 환각: 평가, 감지 및 완화
닐스 뮌들러, 허 징쉬안, 슬로보단 젠코, 마르틴 베체프
arXiv 2023. [논문]
2023년 5월 25일
ChatGPT가 진실한 답변을 제공하지 못하는 이유는 무엇입니까?
션 정(Shen Zheng), 황 지에(Jie Huang), 케빈 첸추안 장(Kevin Chen-Chuan Chang)
arXiv 2023. [논문]
2023년 5월 24일
언어 모델 환각이 눈덩이처럼 불어나는 방법
Muru Zhang, Ofir Press, William Merrill, Alisa Liu, Noah A. Smith
arXiv 2023. [논문]
2023년 5월 22일
LM 대 LM: 교차 조사를 통해 사실 오류 감지
로이 코헨, 메이 함리, 모르 게바, 아미르 글로버슨
arXiv 2023. [논문]
2023년 5월 22일
HaluEval: 대규모 언어 모델을 위한 대규모 환각 평가 벤치마크
Junyi Li, Xiaoxue Cheng, Wayne Xin Zhao, Jian-Yun Nie, Ji-Rong Wen
arXiv 2023. [논문] 2023년 5월 19일
SelfCheckGPT: 생성적 대형 언어 모델을 위한 제로 리소스 블랙박스 환각 감지
포사위 마나쿨, 아디안 류지, 마크 JF 게일스
arXiv 2023. [논문] [Github]
2023년 3월 8일
사실을 확인하고 다시 시도하세요: 외부 지식과 자동화된 피드백을 통해 대규모 언어 모델 개선
Baolin Peng, Michel Galley, Pengcheng He, Hao Cheng, Yujia Xie, Yu Hu, Qiuyuan Huang, Lars Liden, Zhou Yu, Weizhu Chen, Jianfeng Gao
arXiv 2023. [논문]
2023년 2월 23일
RHO(ρ): 지식 기반을 통한 개방형 대화에서 환각 감소
Ziwei Ji, Zihan Liu, 이나연, Tiezheng Yu, Bryan Wilie, Min Zeng, Pascale Fung
arXiv 2022. [논문]
2022년 12월 3일
FaithDial: 정보 탐색 대화를 위한 충실한 벤치마크
누하 지리, 에산 카말루, 시반 밀턴, 오스마르 자이안, 모 유, 에도아르도 M. 폰티, 시바 레디
TACL 2022. [논문]
2022년 4월 22일
자연어 생성의 환각 조사
Ziwei Ji, 이나연, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, 방예진, Wenliang Dai, Andrea Madotto, Pascale Fung
arXiv 2022. [논문]
2022년 2월 8일
TruthX: 진실한 공간에서 대규모 언어 모델을 편집하여 환각 완화 Shaolei Zhang, Tian Yu, Yang Feng
arXiv 2024. [논문] [Github]
2024년 2월 27일
추론 시간 개입: 언어 모델에서 진실한 답변 도출 Kenneth Li, Oam Patel, Fernanda Viégas, Hanspeter Pfister, Martin Wattenberg
arXiv 2023. [논문] [Github]
2023년 6월 6일
LLM의 내부 상태는 언제 거짓말을 하는지 알 수 있습니다.
아모스 아자리아, 톰 미첼
arXiv 2023. [논문]
2023년 4월 26일
TruthfulQA: 모델이 인간의 거짓을 어떻게 모방하는지 측정
스테파니 린, 제이콥 힐튼, 오웨인 에반스
ACL 2022. [논문] [Github] [블로그]
2021년 9월 8일
진실한 AI: 거짓말하지 않는 AI 개발 및 관리
오웨인 에반스, 오웬 코튼-배럿, 루카스 핀베덴, 아담 베일스, 아비탈 발윗, 피터 윌스, 루카 리게티, 윌리엄 손더스
arXiv 2021. [논문] [블로그]
2021년 10월 13일
의미론적 일관성을 통해 대규모 언어 모델의 신뢰성 측정
하쉬 라지, 도메닉 로사티, 수바브라타 마줌다르
NeurIPS 2022 ML 안전 워크숍. [종이]
2022년 11월 10일
REFINER: 중간 표현에 대한 추론 피드백
데브지트 폴, 메테 이스마일자다, 막심 페이라드, 베아트리즈 보르헤스, 앙투안 보셀뤼, 로버트 웨스트, 보이 팔팅스
arXiv 2023. [논문]
2023년 4월 4일
OpenICL: 상황 내 학습을 위한 오픈 소스 프레임워크
Zhenyu Wu, YaoXiang Wang, Jiacheng Ye, Jiangtao Feng, Jingjing Xu, Yu Qiao, Zhiyong Wu
arXiv 2023. [논문] [Github]
2023년 3월 6일
대규모 언어 모델 및 답변 세트 프로그래밍을 통한 안정적인 자연어 이해
아비라몬 라자세카란, 얀카이 젱, 파르스 파달카르, 고팔 굽타
arXiv 2023. [논문]
2023년 2월 7일
자기 일관성은 언어 모델의 사고 추론을 향상시킵니다.
Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou
ICLR 2023. [논문]
2022년 3월 21일
사고의 연쇄 유도는 대규모 언어 모델에서 추론을 이끌어냅니다.
제이슨 웨이, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed Chi, Quoc Le, Denny Zhou
arXiv 2022. [논문]
2022년 1월 28일
STAR: 추론을 통한 추론을 부트스트래핑하는 독학 추론자.
에릭 젤리크만, 우 위화이, 노아 D. 굿맨
NeurIPS 2022. [논문][Github]
2022년 3월 28일
텍스트 추론을 위한 퓨샷 프롬프트에서의 설명의 신뢰성 없음
사이 예, 그렉 듀렛
NeurIPS 2022. [논문] [Github]
2022년 5월 6일
언어 모델의 이론적 근거가 강화된 앙상블
Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Denny Zhou
arXiv 2022. [논문]
2022년 7월 2일
ReAct: 언어 모델에서 추론과 행동의 시너지 효과
야오 순위, 제프리 자오, 디안 유, 난 두, 이자크 샤프란, 카르틱 나라심한, 유안 카오
ICLR 2023. [논문][Github] [프로젝트]
2022년 10월 6일
다시 생각해보면, 단계별로 생각하지 말자! 제로샷 추론의 편향과 독성
오마르 샤이크, 장훙신, 윌리엄 헬드, 마이클 번스타인, 양 디이
arXiv 2022. [논문]
2022년 12월 15일
언어 모델을 더 나은 추론기로 만드는 발전에 대하여
Yifei Li, Zeqi Lin, Shizhuo Zhang, Qiang Fu, Bei Chen, Jian-Guang Lou, Weizhu Chen
arXiv 2022. [논문][Github]
2022년 6월 6일
무엇이든 물어보세요: 언어 모델을 유도하기 위한 간단한 전략
Simran Arora, Avanika Narayan, Mayee F. Chen, Laurel Orr, Neel Guha, Kush Bhatia, Ines Chami, Frederic Sala, Christopher Ré
arXiv 2022. [논문][Github]
2022년 10월 5일
MathPrompter: 대규모 언어 모델을 사용한 수학적 추론
시마 이마니, 리앙 두, 하쉬 슈리바스타바
arXiv 2023. [논문]
2023년 3월 4일
다단계 추론을 위한 복잡성 기반 프롬프트
야오 푸, 하오 펭, 아시쉬 사바왈, 피터 클라크, 투샤르 코트
arXiv 2022. [논문][Github]
2022년 10월 3일
언어 모델의 구성성 격차 측정 및 축소
Ofir Press, Muru Zhang, Sewon Min, Ludwig Schmidt, Noah A. Smith, Mike Lewis
arXiv 2022. [논문][Github] 2022년 10월 7일
지식 집약적인 다단계 질문에 대한 사고 연쇄 추론을 통한 인터리브 검색
가혹한 트리베디, 니란잔 발라수브라마니안, 투샤르 코트, 아시쉬 사바왈
arXiv 2023. [논문][Github]
2022년 12월 20일
최적화 도구로서의 대규모 언어 모델
Chengrun Yang, Xuezhi Wang, Yifeng Lu, Hanxiao Liu, Quoc V. Le, Denny Zhou, Xinyun Chen
arXiv 2023. [논문]
2023년 9월 7일
InstructZero: 블랙박스 대형 언어 모델을 위한 효율적인 명령어 최적화
Lichang Chen, Jiuhai Chen, Tom Goldstein, Heng Huang, Tianyi Zhou
arXiv 2023. [논문] [Github]
2023년 6월 5일
프롬프트 부스팅: 10개의 전달 패스를 사용한 블랙박스 텍스트 분류
바이루 허우, 조 오코너, 제이콥 안드레아스, 장시유, 장양
ICML 2023. [논문][Github]
2023년 1월 23일
GrIPS: 대규모 언어 모델 프롬프트를 위한 그라데이션 없는 편집 기반 명령어 검색
아키키 프라사드, 피터 하세, 샹 저우, 모히트 반살
EACL 2023. [논문][Github]
2022년 3월 14일
RLPrompt: 강화 학습을 통해 개별 텍스트 프롬프트 최적화
Mingkai Deng, Jianyu Wang, Cheng-Ping Hsieh, Yihan Wang, Han Guo, Tianmin Shu, Meng Song, Eric P. Xing, Zhiting Hu
EMNLP 2022. [논문][Github]
2022년 5월 25일
사전 훈련된 언어 모델을 위한 블랙박스 프롬프트 학습
Shizhe Diao, Zhichao Huang, Ruijia Xu, Xuechun Li, Yong Lin, Xiao Zhou, Tong Zhang
TMLR 2023. [논문][Github]
2022년 1월 22일
서비스형 언어 모델을 위한 블랙박스 튜닝
Tianxiang Sun, Yunfan Shao, Hong Qian, Xuanjing Huang, Xipeng Qiu
ICML 2022. [논문][Github]
2022년 1월 10일
BBTv2: 대규모 언어 모델을 통해 그라데이션 없는 미래를 향하여
Tianxiang Sun, Zhengfu He, Hong Qian, Yunhua Zhou, Xuanjing Huang, Xipeng Qiu EMNLP 2022. [논문] [Github]
2022년 12월 7일
대규모 언어 모델에서 자동 사고 연쇄 유도
Zhuosheng Zhang, Aston Zhang, Mu Li, 알렉스 스몰라
ICLR 2023. [논문][Github]
2022년 10월 7일
레이블이 지정된 데이터의 사고 사슬을 통한 자동 프롬프트 확대 및 선택
KaShun Shum, Shizhe Diao, Tong Zhang
arXiv 2023. [논문][Github]
2023년 2월 24일
대규모 언어 모델은 인간 수준의 프롬프트 엔지니어입니다.
용차오 저우, 안드레이 이오안 무레사누, 한 지웬, 케이란 패스터, 실비우 피티스, 해리스 찬, 지미 바
ICLR 2023. [논문] [Github]
2022년 11월 3일
환상적인 순서의 프롬프트와 그 위치: Few-Shot 프롬프트 순서 민감도 극복
야오 루, 맥스 바르톨로, 알라스테어 무어, 세바스티안 리델, 폰투스 스테네토르프
ACL 2022. [논문]
상황 내 학습을 위한 활성 예시 선택
Yiming Zhang, Shi Feng, Chenhao Tan
EMNLP 2022. [논문][Github]
2022년 11월 8일
선택적 주석으로 언어 모델이 더 향상됩니다.
수홍진, 카사이 준고, 첸 헨리 우, 웨이지아 시, 왕 티안루, 지아이 신, 루이 장, 마리 오스텐도르프, 루크 제틀모이어, 노아 A. 스미스, 타오 유
ICLR 2023. [논문][Github]
2022년 9월 5일
상황 내 학습을 위한 프롬프트를 검색하는 방법 학습
오하드 루빈, 조나단 헤르지그, 조나단 베란트
NAACL-HLT 2022. [논문][Github]
2021년 12월 16일
LaMini-LM: 대규모 지침에서 얻은 다양한 증류 모델
우 밍하오, 압둘 와히드, 장 치유, 무하마드 압둘-마게드, 알함 피크리 아지
arXiv 2023. [논문][Github]
2023년 4월 27일
Self-Refine: 자체 피드백을 통한 반복적 개선
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Sean Welleck, Bodhisattwa Prasad Majumder, Shashank Gupta, Amir Yazdanbakhsh, Peter Clark
arXiv 2023. [논문][Github] [웹사이트]
2023년 3월 30일
프롬프트가 필요한 전부인가요? 아니요. 수업 학습에 대한 포괄적이고 광범위한 관점
Renze Lou, Kai Zhang, Wenpeng Yin
arXiv 2023. [논문][Github]
2023년 3월 18일
자가 학습: 언어 모델을 자가 생성 명령어와 정렬
Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A. Smith, 다니엘 카샤비, Hannaneh Hajishirzi
arXiv 2022. [논문] [Github]
2022년 12월 20일
헌법적 AI: AI 피드백의 무해성
바이 윤타오 외 (Anthropic)
arXiv 2022. [논문]
2022년 12월 15일
모델 작성 평가를 통해 언어 모델 동작 발견
Ethan Perezet al.
arXiv 2022. [논문]
2022년 12월 19일
상황에 맞는 교육 학습
예성현, 황현빈, 양소희, 윤현우, 김이은, 서민준
arXiv 2023. [논문][Github]
2023년 2월 28일
오픈 도메인 질문 응답을 위한 몇 번의 프롬프트를 통한 인터넷 증강 언어 모델
안젤리키 라자리두, 엘레나 그리보프스카야, 보이치에흐 스토코비에츠, 니콜라이 그리고레프
arXiv 2023. [논문]
2023년 3월 10일
사고 유도 프로그램: 수치 추론 작업을 위한 추론과 계산의 분리
Wenhu Chen, Xueguang Ma, Xinyi Wang, 윌리엄 W. 코헨
arXiv 2022. [논문][Github]
2022년 11월 22일
PAL: 프로그램 지원 언어 모델
루유 가오, 아만 마단, 저우 슈얀, 유리 알론, 류펑페이, 양 이미밍, 제이미 캘런, 그레이엄 뉴비그
arXiv 2022. [논문] [Github] [프로젝트]
2022년 11월 18일
TALM: 도구 증강 언어 모델
아론 파리시, 야오 자오, 노아 피델
arXiv 2022. [논문]
2022년 5월 24일
Toolformer: 언어 모델은 스스로 도구 사용 방법을 학습할 수 있습니다.
티모 시크, 제인 드위베디-유, 로베르토 데시, 로베르타 라일레아누, 마리아 로멜리, 루크 제틀모이어, 니콜라 칸세다, 토마스 시알롬
arXiv 2023. [논문]
2023년 2월 9일
단계별 증류! 더 적은 훈련 데이터와 더 작은 모델 크기로 더 큰 언어 모델의 성능을 능가함
Cheng-Yu Hsieh, Chun-Liang Li, Chih-Kuan Yeh, Hootan Nakhost, Yasuhisa Fujii, Alexander Ratner, Ranjay Krishna, Chen-Yu Lee, Tomas Pfister
arXiv 2023. [논문]
2023년 5월 3일
FreeLM: 미세 조정이 필요 없는 언어 모델
Xiang Li1, Xin Jiang, Xuying Meng, Aixin Sun, Yequan Wang
arXiv 2023. [논문]
2023년 5월 2일
강력한 언어 모델 미세 조정을 위한 자동화된 데이터 큐레이션
지우하이 첸, 조나스 뮬러
arXiv 2024. [논문]
2024년 3월 19일
불변의 언어 모델링 Maxime Peyrard, Sarvjeet Singh Ghotra, Martin Josifoski, Vidhan Agarwal, Barun Patra, Dean Carignan, Emre Kiciman, Robert West
Emnlp 2022. [종이] [Github]
2021 년 10 월 16 일
질서 민감성 표현 정규화를 통해 강력한 개인화 대화 생성을 향해
Liang Chen, Hongru Wang, Yang Deng, Wai-Chung Kwan, Kam-Fai Wong
ACL 2023의 발견. [종이] [Github]
2023 년 5 월 22 일
코드 분석을 위해 큰 언어 모델의 분포 이동 탐색
Shushan Arakelyan, Rocktim Jyoti Das, Yi Mao, Xiang Ren
Arxiv 2023. [종이]
2023 년 3 월 16 일
조건부 언어 모델에 대한 분포되지 않은 탐지 및 선택적 생성
Jie Ren, Jiating Luo, Yao Zhao, Kundan Krishna, Mohammad Saleh, Balaji Lakshminarayanan, Peter J. Liu
ICLR 2023. [종이]
2022년 9월 30일
사전 취사 언어 모델의 도메인 적응 및 일반화 : 설문 조사
Xu Guo, Han Yu
Arxiv 2022. [종이]
2022 년 11 월 6 일
LLM에 대한 대적 공격
Lilian Weng [블로그]
2023 년 10 월 25 일
프롬프트 벤치 : 대적 프롬프트에서 큰 언어 모델의 견고성을 평가하기 위해
Kaijie Zhu, Jindong Wang, Jiaheng Zhou, Zichen Wang, Hao Chen, Yidong Wang, Linyi Yang, Wei Ye, Neil Zhenqiang Gong, Yue Zhang, Xing Xie
Arxiv 2023. [종이] [Github]
20223 년 6 월 7 일
chatgpt의 견고성 : 대적 및 배포되지 않은 관점
Jindong Wang, Xixu Hu, Wenxin Hou, Hao Chen, Runkai Zheng, Yidong Wang, Linyi Yang, Haojun Huang, Wei Ye, Xiubo Geng, Binxin Jiao, Yue Zhang, Xing Xing
Arxiv 2023. [종이] [Github]
2023 년 2 월 22 일
자연어 처리 시스템에 대한 신뢰성 테스트
Samson Tan, Shafiq Joty, Kathy Baxter, Araz Taeihagh, Gregory A. Bennett, Min-Yen Kan
ACL-IJCNLP 2021. [종이]
2021 년 5 월 6 일
귀속 질문 답변 : 큰 언어 모델에 대한 평가 및 모델링
Bernd Bohnet, Vinh Q. Tran, Pat Verga, Roee Aharoni, Daniel Andor, Livio Baldini Soares, Massimiliano Ciaramita, Jacob Eisenstein, Kuzman Ganchev, Jonathan Herzig, Kai Hui, Tom Kwiatkowski, Ji Ma, Jianmo Ni, Liernmo Ni, Jionmo Ni, Schuster, William W. Cohen, Michael Collins, Dipanjan Das, Donald Metzler, Slav Petrov, Kellie Webster
Arxiv 2022. [종이]
2022 년 12 월 15 일
큰 언어 모델이 상관 관계로 인한 인과를 유추 할 수 있습니까?
Zhijing Jin, Jiarui Liu, Zhiheng Lyu, Spencer Poff, Mrinmaya Sachan, Rada Mihalcea, Mona Diab, Bernhard Schölkopf
Arxiv 2023. [종이] [Github]
2023 년 6 월 9 일
선택 주도 : 해석 가능한 논리적 추론을위한 대형 언어 모델 악용
Antonia Creswell, Murray Shanahan, Irina Higgins
ICLR 2023. [종이]
2022 년 5 월 19 일
LLM의 인과 이해 조사
Marius Hobbhahn, Tom Lieberum, David Seiler
Neurips 2022 워크숍. [종이] [블로그]
2022 년 10 월 3 일
