Awesome LLM Uncertainty Reliability Robustness
1.0.0
Repositori ini, yang disebut UR2-LLMs, berisi kumpulan sumber daya dan makalah tentang Ketidakpastian , Keandalan, dan Ketahanan dalam Model Bahasa Besar .
" Model bahasa besar memiliki keandalan yang terbatas, pemahaman yang terbatas, jangkauan yang terbatas, dan oleh karena itu memerlukan pengawasan manusia . " - Michael Osborne, Profesor Pembelajaran Mesin di Departemen Sains Teknik, Universitas Oxford, 25 Januari 2023
Selamat datang untuk membagikan makalah, pemikiran, dan ide Anda di bidang ini!
GPT Adalah Penyimpanan Informasi yang Tidak Dapat Diandalkan
Ackerson yang Mulia
[Link]
20 Februari 2023
“Menyalahgunakan” Model Bahasa Besar dan Masa Depan MT
Arle Lommel
[Link]
20 Des 2022
Model bahasa besar: Dasar-dasar dan penerapannya
Margo Poda
[Link]
9 Februari 2023
Rekayasa Cepat: Meningkatkan Respons & Keandalan
Peter Foy
[Link]
19 Maret 2023
Buku Masak OpenAI tentang Teknik untuk Meningkatkan Keandalan
OpenAI
[Github]
18 Maret 2023
Tag GPT/kalibrasi
Gwern Branwen
[Link]
Rekayasa Cepat
Lilian Weng
[Link]
Agen Otonomi Bertenaga LLM
Lilian Weng
[Link]
Keandalan dalam Anjuran Pembelajaran
[Link]
Membangun aplikasi LLM untuk produksi
Chip Huyen
[Link]
11 April 2023
Laporan Teknis GPT-4
OpenAI
arXiv 2023. [Kertas] [Buku Masak]
16 Maret 2023
Kartu Sistem GPT-4
OpenAI
arXiv 2023. [Kertas] [Github]
15 Maret 2023
Estimasi Ketidakpastian untuk Pemrosesan Bahasa Alami
Adam Fisch, Robin Jia, Tal Schuster
COLLING 2022. [Situs Web]
Jaringan LLM yang Lebih Luas dan Lebih Dalam adalah Evaluator LLM yang Lebih Adil
Xinghua Zhang, Bowen Yu, Haiyang Yu, Yangyu Lv, Tingwen Liu, Fei Huang, Hongbo Xu, Yongbin Li
arXiv 2023. [Kertas] [Github]
3 Agustus 2023
Survei Evaluasi Model Bahasa Besar
Yupeng Chang, Xu Wang, Jindong Wang, Yuan Wu, Kaijie Zhu, Hao Chen, Linyi Yang, Xiaoyuan Yi, Cunxiang Wang, Yidong Wang, Wei Ye, Yue Zhang, Yi Chang, Philip S. Yu, Qiang Yang, Xing Xie
Arxiv 2023. [Kertas] [Github]
6 Juli 2023
DecodingTrust: Penilaian Komprehensif terhadap Kepercayaan dalam Model GPT
Boxin Wang, Weixin Chen, Hengzhi Pei, Chulin Xie, Mintong Kang, Chenhui Zhang, Chejian Xu, Zidi Xiong, Ritik Dutta, Rylan Schaeffer, Sang T. Truong, Simran Arora, Mantas Mazeika, Dan Hendrycks, Zinan Lin, Yu Cheng, Sanmi Koyejo, Lagu Fajar, Bo Li
Arxiv, 2023. [Makalah] [Github] [Situs Web]
20 Juni 2023
Di ChatGPT Kami Percaya? Mengukur dan Mengkarakterisasi Keandalan ChatGPT
Xinyue Shen, Zeyuan Chen, Michael Backes, Yang Zhang
arXiv, 2023. [Makalah]
18 April 2023
Memanfaatkan Kekuatan LLM dalam Praktek: Survei tentang ChatGPT dan Selebihnya
Jingfeng Yang, Hongye Jin, Ruixiang Tang, Xiaotian Han, Qizhang Feng, Haoming Jiang, Bing Yin, Xia Hu
arXiv 2023. [Kertas] [Github]
27 April 2023
Seberapa Kuatkah GPT-3.5 terhadap Pendahulunya? Studi Komprehensif tentang Tugas Pemahaman Bahasa
Xuanting Chen, Junjie Ye, Can Zu, Nuo Xu, Rui Zheng, Minlong Peng, Jie Zhou, Tao Gui, Qi Zhang, Xuanjing Huang
arXiv 2023. [Kertas] [Github]
1 Maret 2023
Evaluasi Holistik Model Bahasa
Percy Liang, Rishi Bommasani, Tony Lee, Dimitris Tsipras, Dilara Soylu, Michihiro Yasunaga, Yian Zhang, Deepak Narayanan, Yuhuai Wu, Ananya Kumar, Benjamin Newman, Binhang Yuan, Bobby Yan, Ce Zhang, Christian Cosgrove, Christopher D. Manning, Christopher Ré, Diana Acosta-Navas, Drew A. Hudson, Eric Zelikman, Esin Durmus, Faisal Ladhak, Frieda Rong, Hongyu Ren, Huaxiu Yao, Jue Wang, Keshav Santhanam, Laurel Orr, Lucia Zheng, Mert Yuksekgonul, Mirac Suzgun, Nathan Kim, Neel Guha, Niladri Chatterji, Omar Khattab, Peter Henderson, Qian Huang, Ryan Chi, Sang Michael Xie, Shibani Santurkar, Surya Ganguli, Tatsunori Hashimoto, Thomas Icard, Tianyi Zhang, Vishrav Chaudhary, William Wang, Xuechen Li, Yifan Mai, Yuhui Zhang, Yuta Koreeda
arXiv 2022. [Makalah] [Situs Web] [Github] [Blog]
16 November 2022
Mendorong GPT-3 Agar Dapat Diandalkan
Chenglei Si, Zhe Gan, Zhengyuan Yang, Shuohang Wang, Jianfeng Wang, Jordan Boyd-Graber, Lijuan Wang
ICLR 2023. [Makalah] [Github]
17 Oktober 2022
Plex: Menuju Keandalan menggunakan Ekstensi Model Besar yang Telah Dilatih Sebelumnya
Dustin Tran, Jeremiah Liu, Michael W. Dusenberry, Du Phan, Mark Collier, Jie Ren, Kehang Han, Zi Wang, Zelda Mariet, Huiyi Hu, Neil Band, Tim GJ Rudner, Karan Singhal, Zachary Nado, Joost van Amersfoort, Andreas Kirsch, Rodolphe Jenatton, Nithum Thain, Honglin Yuan, Kelly Buchanan, Kevin Murphy, D. Sculley, Yarin Gal, Zoubin Ghahramani, Jasper Snoek, Balaji Lakshminarayanan
arXiv 2022. [Makalah]
15 Juli 2022
Model Bahasa (Kebanyakan) Tahu Apa yang Mereka Ketahui
Saurav Kadavath, Tom Conerly, Amanda Askell, Tom Henighan, Dawn Drain, Ethan Perez, Nicholas Schiefer, Zac Hatfield-Dodds, Nova DasSarma, Eli Tran-Johnson, Scott Johnston, Sheer El-Showk, Andy Jones, Nelson Elhage, Tristan Hume , Anna Chen, Yuntao Bai, Sam Bowman, Benteng Stanislav, Deep Ganguli, Danny Hernandez, Josh Jacobson, Jackson Kernion, Shauna Kravec, Liane Lovitt, Kamal Ndousse, Catherine Olsson, Sam Ringer, Dario Amodei, Tom Brown, Jack Clark, Nicholas Joseph, Ben Mann, Sam McCandlish, Chris Olah, Jared Kaplan
arXiv 2022. [Makalah]
11 Juli 2022
Model Bahasa Augmented: Survei
Grégoire Mialon, Roberto Dessì, Maria Lomeli, Christoforos Nalmpantis, Ram Pasunuru, Roberta Raileanu, Baptiste Rozière, Timo Schick, Jane Dwivedi-Yu, Asli Celikyilmaz, Edouard Grave, Yann LeCun, Thomas Scialom
arXiv 2023. [Makalah]
15 Februari 2023
Survei Metrik Evaluasi yang Digunakan untuk Sistem NLG
Ananya B. Sai, Akash Kumar Mohankumar, Mitesh M. Khapra
Survei Komputasi ACM, 2022. [Makalah]
18 Januari 2022
NL-Augmenter: Kerangka Kerja untuk Augmentasi Bahasa Alami yang Sensitif terhadap Tugas
Kaustubh D.Dhole, dkk.
ACL 2021. [Kertas] [Github]
6 Desember 2021
TextFlint: Perangkat Evaluasi Kekokohan Multibahasa Terpadu untuk Pemrosesan Bahasa Alami
Tao Gui dkk.
arXiv 2021. [Kertas] [Github]
21 Maret 2021
Robustness Gym: Menyatukan Lanskap Evaluasi NLP
Karan Goel, Nazneen Rajani, Jesse Vig, Samson Tan, Jason Wu, Stephan Zheng, Caiming Xiong, Mohit Bansal, Christopher Ré
ACL 2021. [Kertas] [Github]
13 Januari 2021
Melampaui Akurasi: Pengujian Perilaku model NLP dengan Daftar Periksa
Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, Sameer Singh
ACL 2020. [Kertas] [Github]
8 Mei 2020
BLoB: Adaptasi Bayesian Tingkat Rendah dengan Propagasi Balik untuk Model Bahasa Besar
Yibin Wang, Haizhou Shi, Ligong Han, Dimitris Metaxas, Hao Wang
arXiv 2024. [Makalah]
18 Juni 2024
Estimasi Ketidakpastian dan Kuantifikasi untuk LLM: Pendekatan Pengawasan Sederhana
Linyu Liu, Yu Pan, Xiaocheng Li, Guanting Chen
arXiv 2024. [Makalah]
24 April 2024
Mengalihkan Perhatian ke Relevansi: Menuju Estimasi Ketidakpastian Model Bahasa Besar
Jinhao Duan, Hao Cheng, Shiqi Wang, Alex Zavalny, Chenan Wang, Renjing Xu, Bhavya Kailkhura, Kaidi Xu
arXiv 2023. [Makalah]
9 Oktober 2023
Lihatlah Sebelum Anda Melompat: Studi Eksplorasi Pengukuran Ketidakpastian untuk Model Bahasa Besar
Yuheng Huang, Jiayang Song, Zhijie Wang, Shengming Zhao, Huaming Chen, Felix Juefei-Xu, Lei Ma
arXiv 2023. [Makalah]
16 Juli 2023
Mengukur Ketidakpastian dalam Penjelasan Bahasa Alami Model Bahasa Besar
Sree Harsha Tanneru, Chirag Agarwal, Himabindu Lakkaraju
arXiv 2023. [Makalah]
6 November 2023
Generasi Autoregresif Konformal: Pencarian Sinar dengan Jaminan Cakupan
Nicolas Deutschmann, Marvin Alberts, María Rodríguez Martínez
arXiv 2023. [Makalah]
7 September 2023
Mengukur Ketidakpastian Jawaban dari Model Bahasa apa pun dan Meningkatkan Kepercayaan
Jiuhai Chen, Jonas Mueller
arXiv 2023. [Makalah]
30 Agustus 2023
Ketidakpastian dalam Generasi Bahasa Alami: Dari Teori hingga Penerapan
Joris Baan, Nico Daheim, Evgenia Ilia, Dennis Ulmer, Haau-Sing Li, Raquel Fernández, Barbara Plank, Rico Sennrich, Chrysoula Zerva, Wilker Aziz
arXiv 2023. [Makalah]
28 Juli 2023
Menghasilkan dengan Percaya Diri: Kuantifikasi Ketidakpastian untuk Model Bahasa Besar Kotak Hitam
Zhen Lin, Shubhendu Trivedi, Jimeng Sun
arXiv 2023. [Kertas] [Github]
30 Mei 2023
Ketidakpastian Manusia dalam Sistem AI Berbasis Konsep
Katherine M. Collins, Matthew Barker, Mateo Espinosa Zarlenga, Naveen Raman, Umang Bhatt, Mateja Jamnik, Ilia Sucholutsky, Adrian Weller, Krishnamurthy Dvijotham
arXiv 2023. [Makalah]
22 Maret 2023
Menavigasi Area Abu-abu: Ekspresi Terlalu Percaya Diri dan Ketidakpastian dalam Model Bahasa
Kaitlyn Zhou, Dan Jurafsky, Tatsunori Hashimoto
arXiv 2023. [Makalah]
25 Februari 2023
DEUP: Prediksi Ketidakpastian Epistemik Langsung
Salem Lahlou, Moksh Jain, Hadi Nekoei, Victor Ion Butoi, Paul Bertin, Jarrid Rector-Brooks, Maksym Korablyov, Yoshua Bengio
TMLR 2023. [Kertas]
3 Februari 2023
Tentang Kuantifikasi Ketidakpastian Komposisi untuk Penguraian Grafik Seq2seq
Zi Lin, Du Phan, Panupong Pasupat, Yeremia Zhe Liu, Jingbo Shang
ICLR 2023. [Makalah]
1 Februari 2023
Inferensi Neural-Simbol untuk Penguraian Grafik Autoregresif yang Kuat melalui Kuantifikasi Ketidakpastian Komposisi
Zi Lin, Yeremia Liu, Jingbo Shang
EMNLP 2022. [Makalah]
16 Januari 2023
Model Pengajaran untuk Mengekspresikan Ketidakpastiannya dengan Kata-kata
Stephanie Lin, Jacob Hilton, Owain Evans
TMLR 2022. [Kertas] [Github] [TMLR] [Slide]
28 Mei 2022
Ketidakpastian Semantik: Invarian Linguistik untuk Estimasi Ketidakpastian dalam Generasi Bahasa Alami
Lorenz Kuhn, Yarin Gal, Sebastian Farquhar
ICLR 2023. [Makalah]
19 Februari 2022
Pemilihan Data Cold-Start untuk Penyempurnaan Model Bahasa Few-shot: Pendekatan Propagasi Ketidakpastian Berbasis Prompt
Yue Yu, Rongzhi Zhang, Ran Xu, Jieyu Zhang, Jiaming Shen, Chao Zhang
arXiv 2022. [Kertas] [Github]
15 September 2022
Menyempurnakan Model Bahasa melalui Jaringan Neural Epistemik
Ian Osband, SEED Mohammad Asghari, Benjamin Van Roy, Nat McAleese, John Aslanides, Geoffrey Irving
arXiv 2022. [Kertas] [Github]
3 November 2022
Kuantifikasi Ketidakpastian dengan Model Bahasa Terlatih: Analisis Empiris Skala Besar
Yuxin Xiao, Paul Pu Liang, Umang Bhatt, Willie Neiswanger, Ruslan Salakhutdinov, Louis-Philippe Morency
EMNLP 2022 (Temuan). [Kertas] [Github]
10 Oktober 2022
Estimasi Ketidakpastian untuk Model Penghargaan Bahasa
Adam Gleave, Geoffrey Irving
arXiv 2022. [Makalah]
14 Maret 2022
Estimasi Ketidakpastian dan Pengurangan Model Terlatih untuk Regresi Teks
Yuxia Wang, Daniel Beck, Timothy Baldwin, Karin Verspoor
TACL 2022. [Makalah]
Juni 2022
Estimasi Ketidakpastian dalam Prediksi Terstruktur Autoregresif
Andrey Malinin, Mark Gales
ICLR 2021. [Makalah]
18 Februari 2020
Estimasi Kualitas Tanpa Pengawasan untuk Terjemahan Mesin Neural
Marina Fomicheva, Shuo Sun, Lisa Yankovskaya, Frédéric Blain, Francisco Guzmán, Mark Fishel, Nikolaos Aletras, Vishrav Chaudhary, Lucia Specia
TACL 2020. [Makalah] [Kumpulan Data]
21 Mei 2020
Menganalisis Ketidakpastian dalam Terjemahan Mesin Neural
Myle Ott, Michael Auli, David Grangier, Marc'Aurelio Ranzato
ICML 2018. [Makalah]
2018
Kalibrasi Batch: Memikirkan Kembali Kalibrasi untuk Pembelajaran Dalam Konteks dan Rekayasa Cepat
Han Zhou, Xingchen Wan, Lev Proleev, Diana Mincu, Jilin Chen, Katherine Heller, Subhrajit Roy
ICLR 2024. [Makalah] 24 Jan 2024
Apakah Model Bahasa Besar Mengetahui Apa yang Tidak Mereka Ketahui?
Zhangyue Yin, Qiushi Sun, Qipeng Guo, Jiawen Wu, Xipeng Qiu, Xuanjing Huang
arXiv 2023. [Makalah] 29 Mei 2023
Minta Saja Kalibrasi: Strategi untuk Mendapatkan Skor Keyakinan yang Terkalibrasi dari Model Bahasa yang Diselaraskan dengan Masukan Manusia
Katherine Tian, Eric Mitchell, Allan Zhou, Archit Sharma, Rafael Rafailov, Huaxiu Yao, Chelsea Finn, Christopher D. Manning
arXiv 2023. [Makalah]
24 Mei 2023
Menuju Mitigasi Misinformasi yang Andal: Generalisasi, Ketidakpastian, dan GPT-4
Kellin Pelrine, Meilina Reksoprodjo, Caleb Gupta, Joel Christoph, Reihaneh Rabbany
arXiv 2023. [Makalah]
24 Mei 2023
Interpretasi Terkalibrasi: Estimasi Keyakinan dalam Parsing Semantik
Elias Stengel-Eskin, Benjamin Van Durme
arXiv 2022. [Kertas] [Github]
14 November 2022.
Kemungkinan Mengkalibrasi Urutan Meningkatkan Pembuatan Bahasa Bersyarat
Yao Zhao, Misha Khalman, Rishabh Joshi, Shashi Narayan, Mohammad Saleh, Peter J. Liu
ICLR 2023. [Makalah]
30 September 2022
Klasifikasi Selektif yang Dikalibrasi
Adam Fisch, Tommi Jaakkola, Regina Barzilay
TMLR 2022. [Kertas]
25 Agustus 2022
Mengurangi terlalu percaya diri agen percakapan melalui kalibrasi linguistik
Sabrina J. Mielke, Arthur Szlam, Emily Dinan, Y-Lan Boureau
NAACL 2022. [Makalah]
22 Juni 2022
Memeriksa Ulang Kalibrasi: Kasus Menjawab Pertanyaan
Chenglei Si, Chen Zhao, Sewon Min, Jordan Boyd-Graber
Temuan EMNLP 2022. [Kertas]
25 Mei 2022
Menuju Penguraian Semantik Grafik Neural-Simbol Kolaboratif melalui Ketidakpastian
Zi Lin, Yeremia Liu, Jingbo Shang
Jari ACL 2022. [Kertas]
22 Mei 2022
Evaluasi terjemahan mesin yang sadar akan ketidakpastian
Taisiya Glushkova, Chrysoula Zerva, Ricardo Rei, André FT Martins
EMNLP 2021. [Makalah]
13 September 2021
Kalibrasi Sebelum Digunakan: Meningkatkan Performa Model Bahasa Beberapa Gambar
Tony Z. Zhao, Eric Wallace, Shi Feng, Dan Klein, Sameer Singh
ICML 2021. [Kertas] [Github
19 Februari 2021
Bagaimana Kita Bisa Tahu Jika Model Bahasa Tahu? Tentang Kalibrasi Model Bahasa untuk Menjawab Pertanyaan
Zhengbao Jiang, Jun Araki, Haibo Ding, Graham Neubig
TACL 2021. [Kertas] [Github]
2 Desember 2020
Kalibrasi Transformator Terlatih
Shrey Desai, Greg Durrett
EMNLP 2020. [Kertas] [Github]
17 Mei 2020
Pohon Klarifikasi: Menjawab Pertanyaan Ambigu dengan Model Bahasa Besar yang Ditambah Pengambilan
Gangwoo Kim, Sungdong Kim, Byeongguk Jeon, Taman Joonsuk, Jaewoo Kang
EMNLP 2023. [Kertas] [Github]
23 Oktober 2023
Menjawab Pertanyaan Ambigu Secara Selektif
Jeremy R. Cole, Michael JQ Zhang, Daniel Gillick, Julian Martin Eisenschlos, Bhuwan Dhingra, Jacob Eisenstein arXiv 2023. [Makalah]
24 Mei 2023
Kami Takut Model Bahasa Tidak Memodelkan Ambiguitas Alisa Liu, Zhaofeng Wu, Julian Michael, Alane Suhr, Peter West, Alexander Koller, Swabha Swayamdipta, Noah A. Smith, Yejin Choi
arXiv 2023. [Kertas] [Github]
24 April 2023
Ambiguitas Tugas pada Manusia dan Model Bahasa
Alex Tamkin, Kunal Handa, Avash Shrestha, Noah Goodman
ICLR 2023. [Kertas] [Github]
20 Des 2022
CLAM: Klarifikasi Selektif untuk Pertanyaan Ambigu dengan Model Bahasa Generatif
Lorenz Kuhn, Yarin Gal, Sebastian Farquhar
arXiv 2022. [Makalah]
15 Des 2022
Cara Mendekati Kueri Ambigu dalam Pencarian Percakapan: Survei Teknik, Pendekatan, Alat, dan Tantangan
Kimiya Keyvan, Jimmy Xiangji Huang
Survei Komputasi ACM, 2022. [Makalah]
7 Desember 2022
Bantuan dengan model bahasa besar
Dmitrii Krasheninnikov, Egor Krasheninnikov, David Krueger
Lokakarya NeurIPS MLSW 2022. [Makalah]
5 Desember 2022
Mengapa Ayam Menyeberang Jalan? Mengungkapkan Ulang dan Menganalisis Pertanyaan Ambigu di VQA
Elias Stengel-Eskin, Jimena Guallar-Blasco, Yi Zhou, Benjamin Van Durme
arXiv 2022. [Kertas] [Github]
14 November 2022
Abg-CoQA: Mengklarifikasi Ambiguitas dalam Menjawab Pertanyaan Percakapan
Meiqi Guo, Mingda Zhang, Siva Reddy, Malihe Alikhani
AKBC 2021. [Makalah]
22 Juni 2021
Kesenjangan Keyakinan-Kompetensi dalam Model Bahasa Besar: Sebuah Studi Kognitif
Aniket Kumar Singh, Suman Devkota, Bishal Lamichhane, Uttam Dhakal, Chandra Dhakal
arXiv 2023. [Makalah]
28 September 2023
Kekuatan dalam Angka: Memperkirakan Keyakinan Model Bahasa Besar dengan Kesepakatan Segera
Gwenyth Portillo Wightman, Alexandra Delucia, Mark Dredze
Lokakarya ACL TrustNLP 2023. [Makalah]
1 Juli 2023
Apa Saja Pendekatan Berbeda untuk Mendeteksi Konten yang Dihasilkan oleh LLM Seperti ChatGPT? Dan Bagaimana Cara Kerja dan Perbedaannya?
Sebastian Raschka
[Tautan] [GPTZero]
1 Februari 2023
DetectGPT: Deteksi Teks yang Dihasilkan Mesin Zero-Shot menggunakan Kelengkungan Probabilitas
Eric Mitchell, Yoonho Lee, Alexander Khazatsky, Christopher D. Manning, Chelsea Finn
arXiv 2023. [Makalah] [Situs Web]
26 Januari 2023
Pemodelan Bahasa Adaptif yang Percaya Diri
Tal Schuster, Adam Fisch, Jai Gupta, Mostafa Dehghani, Dara Bahri, Vinh Q. Tran, Yi Tay, Donald Metzler
NeurIPS 2022. [Makalah] 25 Okt 2022
Pengendalian risiko konformal
Anastasios N Angelopoulos, Stephen Bates, Adam Fisch, Lihua Lei, Tal Schuster
arXiv 2022. [Kertas] [Github]
4 Agustus 2022
Survei Pembelajaran Aktif untuk Pemrosesan Bahasa Alami
Zhisong Zhang, Emma Strubell, Eduard Hovy
EMNLP 2022. [Kertas] [Github]
18 Oktober 2022
Anjuran Aktif dengan Rantai Pemikiran untuk Model Bahasa Besar
Shizhe Diao, Pengcheng Wang, Yong Lin, Tong Zhang
arXiv 2023. [Kertas] [Github]
23 Februari 2023
Pelabelan Aktif Interaktif dengan sumber daya rendah untuk Menyempurnakan Model Bahasa
Seiji Maekawa, Dan Zhang, Hannah Kim, Sajjadur Rahman, Estevam Hruschka
Temuan EMNLP 2022. [Makalah]
7 Desember 2022
Bisakah Anda Memberi Label Lebih Sedikit dengan Menggunakan Data Di Luar Domain? Pembelajaran Aktif & Transfer dengan Instruksi Sedikit
Rafal Kocielnik, Sara Kangaslahti, Shrimai Prabhumoye, Meena Hari, R. Michael Alvarez, Anima Anandkumar
Lokakarya NeurIPS 2022. [Makalah]
21 November 2022
AfroLM: Model Bahasa Multibahasa Berbasis Pembelajaran Aktif Mandiri untuk 23 Bahasa Afrika
Bonaventure FP Dossou, Atnafu Lambebo Tonja, Oreen Yousuf, Salomey Osei, Abigail Oppong, Iyanuoluwa Shode, Oluwabusayo Olufunke Awoyomi, Chris Chinenye Emezue
EMNLP 2022. [Kertas] [Github]
7 November 2022
Pembelajaran Aktif Membantu Model Terlatih Mempelajari Tugas yang Diinginkan
Alex Tamkin, Dat Pham Nguyen, Salil Deshpande, Jesse Mu, Noah Goodman
NeurIPS 2022. [Kertas] [Github]
31 Oktober 2022
Anotasi Selektif Membuat Model Bahasa Lebih Baik bagi Pembelajar Sedikit
Hongjin Su, Jungo Kasai, Chen Henry Wu, Weijia Shi, Tianlu Wang, Jiayi Xin, Rui Zhang, Mari Ostendorf, Luke Zettlemoyer, Noah A. Smith, Tao Yu
ICLR 2023. [Kertas] [Github]
5 September 2022
Pembelajaran Aktif Multi-tugas untuk Model berbasis Transformer yang telah dilatih sebelumnya
Guy Rotman, Roi Reichart
TACL 2022. [Kertas] [Github]
10 Agustus 2022
Actune: Pelatihan Mandiri Aktif Berbasis Ketidakpastian untuk Penyempurnaan Aktif Model Bahasa yang Telah Dilatih Sebelumnya
Yue Yu, Lingkai Kong, Jieyu Zhang, Rongzhi Zhang, Chao Zhang
NAACL-HLT2022. [Kertas] [Github]
10 Juli 2022
Menuju Pembelajaran Aktif Mendalam yang Layak Secara Komputasi
Akim Tsvigun, Artem Shelmanov, Gleb Kuzmin, Leonid Sanochkin, Daniil Larionov, Gleb Gusev, Manvel Avetisian, Leonid Zhukov
NAACL 2022. [Kertas] [Github]
7 Mei 2022
FAMIE: Kerangka Pembelajaran Aktif Cepat untuk Ekstraksi Informasi Multibahasa
Minh Van Nguyen, Nghia Trung Ngo, Bonan Min, Thien Huu Nguyen
NAACL 2022. [Kertas] [Github]
16 Februari 2022
Tentang Pentingnya Mengadaptasi Model Bahasa yang Telah Dilatih Secara Efektif untuk Pembelajaran Aktif
Katerina Margatina, Loïc Barrault, Nikolaos Aletras
ACL 2022. [Makalah]
2 Maret 2022
Keterbatasan Pembelajaran Aktif Dengan Model Bahasa Deep Transformer
Mike D'Arcy, Doug Downey
Arxiv 2022. [Makalah]
28 Januari 2022
Pembelajaran Aktif dengan Memperoleh Contoh Kontrasif
Katerina Margatina, Giorgos Vernikos, Loïc Barrault, Nikolaos Aletras
EMNLP 2021. [Kertas] [Github]
8 September 2021
Meninjau Kembali Strategi Kueri Berbasis Ketidakpastian untuk Pembelajaran Aktif dengan Transformers
Christopher Schröder, Andreas Niekler, Martin Potthast
Temuan ACL 2022. [Kertas] [Github]
12 Juli 2021
Pembelajaran Aktif untuk Pemberian Tag Urutan dengan Model Terlatih Mendalam dan Estimasi Ketidakpastian Bayesian
Artem Shelmanov, Dmitri Puzyrev, Lyubov Kupriyanova, Denis Belyakov, Daniil Larionov, Nikita Khromov, Olga Kozlova, Ekaterina Artemova, Dmitry V. Dylov, Alexander Panchenko
EACL 2021. [Makalah]
18 Februari 2021
Menyempurnakan BERT untuk Pemahaman Bahasa Alami dengan Sumber Daya Rendah melalui Pembelajaran Aktif
Daniel Grießhaber, Johannes Maucher, Ngoc Thang Vu
COLING 2020. [Kertas]
4 Desember 2020
deteksi halusinasi yang luar biasa
HallusionBench: Rangkaian Diagnostik Tingkat Lanjut untuk Halusinasi Bahasa yang Terjerat dan Ilusi Visual dalam Model Bahasa Penglihatan Besar
Tianrui Guan*, Fuxiao Liu*, Xiyang Wu, Ruiqi Xian, Zongxia Li, Xiaoyu Liu, Xijun Wang, Lichang Chen, Furong Huang, Yaser Yacoob, Dinesh Manocha, Tianyi Zhou
CVPR 2024. [Kertas] [Github]
18 Maret 2024
KANTUNG
Jiaxin Zhang, Zhuohang Li, Kamalika Das, Bradley A. Malin, Sricharan Kumar
EMNLP 2023. [Kertas] [Github]
3 November 2023
Papan Peringkat Halusinasi
vektor
[Link]
2 November 2023
Melampaui Faktualitas: Evaluasi Komprehensif Model Bahasa Besar sebagai Penghasil Pengetahuan
Liang Chen, Yang Deng, Yatao Bian, Zeyu Qin, Bingzhe Wu, Tat-Seng Chua, Kam-Fai Wong
EMNLP 2023. [Kertas] [Github]
12 Oktober 2023
Rantai Verifikasi Mengurangi Halusinasi dalam Model Bahasa Besar
Shehzaad Dhuliawala, Mojtaba Komeili, Jing Xu, Roberta Raileanu, Xian Li, Asli Celikyilmaz, Jason Weston
arXiv 2023. [Makalah]
20 September 2023
Apakah Model Bahasa Tahu Saat Mereka Berhalusinasi Referensi?
Ayush Agrawal, Lester Mackey, Adam Tauman Kalai
arXiv 2023. [Makalah]
29 Mei 2023.
Halusinasi Model Bahasa Besar yang Bertentangan Sendiri: Evaluasi, Deteksi dan Mitigasi
Niels Mündler, Jingxuan He, Slobodan Jenko, Martin Vechev
arXiv 2023. [Makalah]
25 Mei 2023
Mengapa ChatGPT Gagal Memberikan Jawaban yang Jujur?
Shen Zheng, Jie Huang, Kevin Chen-Chuan Chang
arXiv 2023. [Makalah]
24 Mei 2023
Bagaimana Halusinasi Model Bahasa Bisa Menjadi Bola Salju
Muru Zhang, Ofir Press, William Merrill, Alisa Liu, Noah A. Smith
arXiv 2023. [Makalah]
22 Mei 2023
LM vs LM: Mendeteksi Kesalahan Faktual Melalui Pemeriksaan Silang
Roi Cohen, May Hamri, Mor Geva, Amir Globerson
arXiv 2023. [Makalah]
22 Mei 2023
HaluEval: Tolok Ukur Evaluasi Halusinasi Skala Besar untuk Model Bahasa Besar
Junyi Li, Xiaoxue Cheng, Wayne Xin Zhao, Jian-Yun Nie, Ji-Rong Wen
arXiv 2023. [Makalah] 19 Mei 2023
SelfCheckGPT: Deteksi Halusinasi Kotak Hitam Tanpa Sumber Daya untuk Model Bahasa Besar Generatif
Potsawee Manakul, Adian Liusie, Mark JF Gales
arXiv 2023. [Kertas] [Github]
8 Maret 2023
Periksa Fakta Anda dan Coba Lagi: Meningkatkan Model Bahasa Besar dengan Pengetahuan Eksternal dan Umpan Balik Otomatis
Baolin Peng, Michel Galley, Pengcheng He, Hao Cheng, Yujia Xie, Yu Hu, Qiuyuan Huang, Lars Liden, Zhou Yu, Weizhu Chen, Jianfeng Gao
arXiv 2023. [Makalah]
23 Februari 2023
RHO (ρ): Mengurangi Halusinasi dalam Dialog Domain Terbuka dengan Landasan Pengetahuan
Ziwei Ji, Zihan Liu, Nayeon Lee, Tiezheng Yu, Bryan Wilie, Min Zeng, Pascale Fung
arXiv 2022. [Makalah]
3 Desember 2022
FaithDial: Tolok Ukur yang Setia untuk Dialog Pencarian Informasi
Nouha Dziri, Ehsan Kamalloo, Sivan Milton, Osmar Zaiane, Mo Yu, Edoardo M. Ponti, Siva Reddy
TACL 2022. [Makalah]
22 April 2022
Survei Halusinasi pada Generasi Bahasa Alami
Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Yejin Bang, Wenliang Dai, Andrea Madotto, Pascale Fung
arXiv 2022. [Makalah]
8 Februari 2022
TruthX: Mengurangi Halusinasi dengan Mengedit Model Bahasa Besar di Ruang Sejati Shaolei Zhang, Tian Yu, Yang Feng
arXiv 2024. [Kertas] [Github]
27 Februari 2024
Intervensi Waktu Inferensi: Memunculkan Jawaban Jujur dari Model Bahasa Kenneth Li, Oam Patel, Fernanda Viégas, Hanspeter Pfister, Martin Wattenberg
arXiv 2023. [Kertas] [Github]
6 Juni 2023
Keadaan Internal suatu LLM Tahu Saat Berbohong
Amos Azaria, Tom Mitchell
arXiv 2023. [Makalah]
26 April 2023
TruthfulQA: Mengukur Bagaimana Model Meniru Kepalsuan Manusia
Stephanie Lin, Jacob Hilton, Owain Evans
ACL 2022. [Kertas] [Github] [Blog]
8 September 2021
AI yang Jujur: Mengembangkan dan mengatur AI yang tidak berbohong
Owain Evans, Owen Cotton-Barratt, Lukas Finnveden, Adam Bales, Avital Balwit, Peter Wills, Luca Righetti, William Saunders
arXiv 2021. [Makalah] [Blog]
13 Oktober 2021
Mengukur Keandalan Model Bahasa Besar melalui Konsistensi Semantik
Harsh Raj, Domenic Rosati, Subhabrata Majumdar
Lokakarya Keamanan ML NeurIPS 2022. [Kertas]
10 November 2022
REFINER: Umpan Balik Penalaran tentang Representasi Menengah
Debjit Paul, Mete Ismayilzada, Maxime Peyrard, Beatriz Borges, Antoine Bosselut, Robert West, Boi Faltings
arXiv 2023. [Makalah]
4 April 2023
OpenICL: Kerangka Sumber Terbuka untuk Pembelajaran Dalam Konteks
Zhenyu Wu, YaoXiang Wang, Jiacheng Ye, Jiangtao Feng, Jingjing Xu, Yu Qiao, Zhiyong Wu
arXiv 2023. [Kertas] [Github]
6 Maret 2023
Pemahaman Bahasa Alami yang Andal dengan Model Bahasa Besar dan Pemrograman Kumpulan Jawaban
Abhiramon Rajasekharan, Yankai Zeng, Parth Padalkar, Gopal Gupta
arXiv 2023. [Makalah]
7 Februari 2023
Konsistensi Diri Meningkatkan Penalaran Rantai Pemikiran dalam Model Bahasa
Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou
ICLR 2023. [Makalah]
21 Maret 2022
Anjuran Rantai Pemikiran Menimbulkan Penalaran dalam Model Bahasa Besar.
Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed Chi, Quoc Le, Denny Zhou
arXiv 2022. [Makalah]
28 Januari 2022
STAR: Penalaran Bootstrap Penalaran yang Diajarkan Sendiri dengan Penalaran.
Eric Zelikman, Yuhuai Wu, Noah D. Goodman
NeurIPS 2022. [Kertas] [Github]
28 Maret 2022
Penjelasan yang Tidak Dapat Diandalkan dalam Beberapa Langkah yang Mendorong Penalaran Tekstual
Xi Ye, Greg Durrett
NeurIPS 2022. [Kertas] [Github]
6 Mei 2022
Ensemble yang Diperkuat Dasar Pemikiran dalam Model Bahasa
Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Denny Zhou
arXiv 2022. [Makalah]
2 Juli 2022
ReAct: Mensinergikan Penalaran dan Akting dalam Model Bahasa
Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao
ICLR 2023. [Makalah] [Github] [Proyek]
6 Oktober 2022
Setelah Dipikir-pikir, Jangan Berpikir Langkah demi Langkah! Bias dan Toksisitas dalam Penalaran Zero-Shot
Omar Shaikh, Hongxin Zhang, William Held, Michael Bernstein, Diyi Yang
arXiv 2022. [Makalah]
15 Des 2022
Tentang Kemajuan Membuat Model Bahasa Menjadi Penalaran yang Lebih Baik
Yifei Li, Zeqi Lin, Shizhuo Zhang, Qiang Fu, Bei Chen, Jian-Guang Lou, Weizhu Chen
arXiv 2022. [Kertas] [Github]
6 Juni 2022
Ask Me Anything: Strategi sederhana untuk mendorong model bahasa
Simran Arora, Avanika Narayan, Mayee F. Chen, Laurel Orr, Neel Guha, Kush Bhatia, Ines Chami, Frederic Sala, Christopher Ré
arXiv 2022. [Kertas] [Github]
5 Oktober 2022
MathPrompter: Penalaran Matematis menggunakan Model Bahasa Besar
Shima Imani, Liang Du, Shrivastava yang Keras
arXiv 2023. [Makalah]
4 Maret 2023
Dorongan Berbasis Kompleksitas untuk Penalaran Multi-Langkah
Yao Fu, Hao Peng, Ashish Sabharwal, Peter Clark, Tushar Khot
arXiv 2022. [Kertas] [Github]
3 Oktober 2022
Mengukur dan Mempersempit Kesenjangan Komposisi dalam Model Bahasa
Ofir Press, Muru Zhang, Sewon Min, Ludwig Schmidt, Noah A. Smith, Mike Lewis
arXiv 2022. [Kertas] [Github] 7 Okt 2022
Interleaving Retrieval dengan Penalaran Rantai Pemikiran untuk Pertanyaan Multi-Langkah yang Intensif Pengetahuan
Harsh Trivedi, Niranjan Balasubramanian, Tushar Khot, Ashish Sabharwal
arXiv 2023. [Kertas] [Github]
20 Des 2022
Model Bahasa Besar sebagai Pengoptimal
Chengrun Yang, Xuezhi Wang, Yifeng Lu, Hanxiao Liu, Quoc V. Le, Denny Zhou, Xinyun Chen
arXiv 2023. [Makalah]
7 September 2023
InstructZero: Optimasi Instruksi yang Efisien untuk Model Bahasa Besar Black-Box
Lichang Chen, Jiuhai Chen, Tom Goldstein, Heng Huang, Tianyi Zhou
arXiv 2023. [Kertas] [Github]
5 Juni 2023
Promptboosting: Klasifikasi teks kotak hitam dengan sepuluh gerakan maju
Bairu Hou, Joe O'Connor, Jacob Andreas, Shiyu Chang, Yang Zhang
ICML 2023. [Kertas] [Github]
23 Januari 2023
GrIPS: Pencarian Instruksi Berbasis Edit dan Bebas Gradien untuk Mendorong Model Bahasa Besar
Archiki Prasad, Peter Hase, Xiang Zhou, Mohit Bansal
EACL 2023. [Kertas] [Github]
14 Maret 2022
RLPrompt: Mengoptimalkan Perintah Teks Diskrit dengan Pembelajaran Penguatan
Mingkai Deng, Jianyu Wang, Cheng-Ping Hsieh, Yihan Wang, Han Guo, Tianmin Shu, Meng Song, Eric P. Xing, Zhiting Hu
EMNLP 2022. [Kertas] [Github]
25 Mei 2022
Pembelajaran Cepat Black-box untuk Model Bahasa yang telah dilatih sebelumnya
Shizhe Diao, Zhichao Huang, Ruijia Xu, Xuechun Li, Yong Lin, Xiao Zhou, Tong Zhang
TMLR 2023. [Kertas] [Github]
22 Januari 2022
Penyetelan Kotak Hitam untuk Model Bahasa sebagai Layanan
Tianxiang Sun, Yunfan Shao, Hong Qian, Xuanjing Huang, Xipeng Qiu
ICML 2022. [Kertas] [Github]
10 Januari 2022
BBTv2: menuju masa depan bebas gradien dengan model bahasa yang besar
Tianxiang Sun, Zhengfu He, Hong Qian, Yunhua Zhou, Xuanjing Huang, Xipeng Qiu EMNLP 2022. [Kertas] [Github]
7 Desember 2022
Rantai Pemikiran Otomatis yang Didorong dalam Model Bahasa Besar
Zhuosheng Zhang, Aston Zhang, Mu Li, Alex Smola
ICLR 2023. [Kertas] [Github]
7 Oktober 2022
Augmentasi dan Seleksi Cepat Otomatis dengan Rantai Pemikiran dari Data Berlabel
KaShun Shum, Shizhe Diao, Tong Zhang
arXiv 2023. [Kertas] [Github]
24 Februari 2023
Model Bahasa Besar Adalah Insinyur Cepat Tingkat Manusia
Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han, Keiran Paster, Silviu Pitis, Harris Chan, Jimmy Ba
ICLR 2023. [Makalah] [Github]
3 November 2022
Perintah yang Dipesan dengan Luar Biasa dan Di Mana Menemukannya: Mengatasi Sensitivitas Pesanan Cepat yang Sedikit
Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, Pontus Stenetorp
ACL 2022. [Makalah]
Pemilihan Contoh Aktif untuk Pembelajaran Dalam Konteks
Yiming Zhang, Shi Feng, Chenhao Tan
EMNLP 2022. [Kertas] [Github]
8 November 2022
Anotasi Selektif Membuat Model Bahasa Lebih Baik bagi Pembelajar Sedikit
Hongjin Su, Jungo Kasai, Chen Henry Wu, Weijia Shi, Tianlu Wang, Jiayi Xin, Rui Zhang, Mari Ostendorf, Luke Zettlemoyer, Noah A. Smith, Tao Yu
ICLR 2023. [Kertas] [Github]
5 September 2022
Belajar Mengambil Anjuran untuk Pembelajaran Dalam Konteks
Ohad Rubin, Jonathan Herzig, Jonathan Berant
NAACL-HLT 2022. [Kertas] [Github]
16 Des 2021
LaMini-LM: Beragam Model Sulingan dari Instruksi Skala Besar
Minghao Wu, Abdul Waheed, Chiyu Zhang, Muhammad Abdul-Mageed, Alham Fikri Aji
arXiv 2023. [Kertas] [Github]
27 April 2023
Penyempurnaan Mandiri: Penyempurnaan Berulang dengan Umpan Balik Mandiri
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Sean Welleck, Bodhisattwa Prasad Majumder, Shashank Gupta, Amir Yazdanbakhsh, Peter Clark
arXiv 2023. [Makalah] [Github] [Situs Web]
30 Maret 2023
Apakah Prompt Yang Anda Butuhkan? Tidak. Pandangan yang Komprehensif dan Lebih Luas tentang Pembelajaran Instruksi
Renze Lou, Kai Zhang, Wenpeng Yin
arXiv 2023. [Kertas] [Github]
18 Maret 2023
Instruksi Mandiri: Menyelaraskan Model Bahasa dengan Instruksi yang Dibuat Sendiri
Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A. Smith, Daniel Khashabi, Hannaneh Hajishirzi
arXiv 2022. [Kertas] [Github]
20 Des 2022
AI Konstitusional: Tidak Ada Bahaya dari Umpan Balik AI
Yuntao Bai, dkk (Antropik)
arXiv 2022. [Makalah]
15 Des 2022
Menemukan Perilaku Model Bahasa dengan Evaluasi Model-Tertulis
Ethan Perez dkk.
arXiv 2022. [Makalah]
19 Desember 2022
Pembelajaran Instruksi Dalam Konteks
Seonghyeon Ye, Hyeonbin Hwang, Sohee Yang, Hyeongu Yun, Yireun Kim, Minjoon Seo
arXiv 2023. [Kertas] [Github]
28 Februari 2023
Model bahasa yang ditambah dengan internet melalui beberapa langkah yang mendorong jawaban pertanyaan domain terbuka
Angeliki Lazaridou, Elena Gribovskaya, Wojciech Stokowiec, Nikolai Grigorev
arXiv 2023. [Makalah]
10 Maret 2023
Program Pemikiran Anjuran: Menguraikan Komputasi dari Penalaran untuk Tugas Penalaran Numerik
Wenhu Chen, Xueguang Ma, Xinyi Wang, William W. Cohen
arXiv 2022. [Kertas] [Github]
22 November 2022
PAL: Model Bahasa Berbantuan Program
Luyu Gao, Aman Madaan, Shuyan Zhou, Uri Alon, Pengfei Liu, Yiming Yang, Jamie Callan, Graham Neubig
arXiv 2022. [Makalah] [Github] [Proyek]
18 November 2022
TALM: Alat Model Bahasa Augmented
Aaron Parisi, Yao Zhao, Noah Fiedel
arXiv 2022. [Makalah]
24 Mei 2022
Pembentuk Alat: Model Bahasa Dapat Belajar Sendiri Menggunakan Alat
Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, Thomas Scialom
arXiv 2023. [Makalah]
9 Februari 2023
Penyulingan Langkah demi Langkah! Mengungguli Model Bahasa yang Lebih Besar dengan Data Pelatihan yang Lebih Sedikit dan Ukuran Model yang Lebih Kecil
Cheng-Yu Hsieh, Chun-Liang Li, Chih-Kuan Yeh, Hootan Nakhost, Yasuhisa Fujii, Alexander Ratner, Ranjay Krishna, Chen-Yu Lee, Tomas Pfister
arXiv 2023. [Makalah]
3 Mei 2023
FreeLM: Model Bahasa Bebas Penyempurnaan
Xiang Li1, Xin Jiang, Xuying Meng, Aixin Sun, Yequan Wang
arXiv 2023. [Makalah]
2 Mei 2023
Kurasi Data Otomatis untuk Penyempurnaan Model Bahasa yang Kuat
Jiuhai Chen, Jonas Mueller
arXiv 2024. [Makalah]
19 Maret 2024
Pemodelan Bahasa Invarian Maxime Peyrard, Sarvjeet Singh Ghotra, Martin Josifoski, Vidhan Agarwal, Barun Patra, Dean Carignan, Emre Kiciman, Robert West
EMNLP 2022. [Kertas] [Github]
16 Oktober 2021
Menuju Generasi Dialog Terpersonalisasi yang Kuat melalui Regularisasi Representasi yang Tidak Sensitif terhadap Ketertiban
Liang Chen, Hongru Wang, Yang Deng, Wai-Chung Kwan, Kam-Fai Wong
Temuan ACL 2023. [Makalah] [Github]
22 Mei 2023
Menjelajahi Pergeseran Distribusi dalam Model Bahasa Besar untuk Analisis Kode
Shushan Arakelyan, Rocktim Jyoti Das, Yi Mao, Xiang Ren
arXiv 2023. [Makalah]
16 Maret 2023
Deteksi Di Luar Distribusi dan Pembuatan Selektif untuk Model Bahasa Bersyarat
Jie Ren, Jiaming Luo, Yao Zhao, Kundan Krishna, Mohammad Saleh, Balaji Lakshminarayanan, Peter J. Liu
ICLR 2023. [Makalah]
30 September 2022
Tentang Adaptasi Domain dan Generalisasi Model Bahasa yang Telah Dilatih: Sebuah Survei
Xu Guo, Han Yu
arXiv 2022. [Makalah]
6 November 2022
Serangan Musuh terhadap LLM
Lilian Weng [Blog]
25 Oktober 2023
PromptBench: Menuju Mengevaluasi Ketahanan Model Bahasa Besar pada Permintaan Perselisihan
Kaijie Zhu, Jindong Wang, Jiaheng Zhou, Zichen Wang, Hao Chen, Yidong Wang, Linyi Yang, Wei Ye, Neil Zhenqiang Gong, Yue Zhang, Xing Xie
ARXIV 2023. [Kertas] [GitHub]
7 Jun 20223
Tentang ketahanan chatgpt: perspektif permusuhan dan di luar distribusi
Jindong Wang, Xixu Hu, Wenxin Hou, Hao Chen, Runkai Zheng, Yidong Wang, Linyi Yang, Haojun Huang, Wei Ye, Xiubo Geng, Binxin Jiao, Yue Zhang, Xing Xie
ARXIV 2023. [Kertas] [GitHub]
22 Februari 2023
Pengujian Keandalan untuk Sistem Pemrosesan Bahasa Alami
Samson Tan, Shafiq Joty, Kathy Baxter, Araz Taeihagh, Gregory A. Bennett, Min-Yen Kan
ACL-IJCNLP 2021. [Kertas]
06 Mei 2021
Pertanyaan yang dikaitkan dengan pertanyaan: Evaluasi dan pemodelan untuk model bahasa besar yang dikaitkan
Bernd Bohnet, Vinh Q. Tran, Pat Verga, Roee Aharoni, Daniel Andor, Livio Baldini Soares, Massimiliano Ciaramita, Jacob Eisenstein, Kuzman Ganchev, Jonathan Herzig, Kai Hui, Tom Kwiatki, Jonathan Herzig, Kai Hui, Tom Kwiatki, Jonathan, Jonathan, Kai Hui, Tom Kwiatki, Tom Kwiatki, Tom Kwiatki, Tom Kwiatki, Tom Kwiatki, Tom Kwiatki, Tom Kwiatki, Tom Kwiatki, Tom, Schuster, William W. Cohen, Michael Collins, Dipanjan Das, Donald Metzler, Slave Petrov, Kellie Webster
Arxiv 2022. [Kertas]
15 Des 2022
Dapatkah model bahasa besar menyimpulkan penyebab dari korelasi?
Zhijing Jin, Jiarui Liu, Zhiheng Lyu, Spencer Poff, Mrinmaya Sachan, Rada Mihalcea, Mona Diab, Bernhard Schölkopf
ARXIV 2023. [Kertas] [GitHub]
9 Jun 2023
Seleksi-Inferensi: Mengeksploitasi Model Bahasa Besar untuk Penalaran Logis yang Dapat Ditayangkan
Antonia Creswell, Murray Shanahan, Irina Higgins
ICLR 2023. [Kertas]
19 Mei 2022
Menyelidiki pemahaman kausal di llms
Marius Hobbhahn, Tom Lieberum, David Seiler
Workshop Neurips 2022. [Kertas] [blog]
3 Oktober 2022
