Awesome LLM Uncertainty Reliability Robustness
1.0.0
Ce référentiel, appelé UR2-LLMs, contient une collection de ressources et d'articles sur l'incertitude , la fiabilité et la robustesse des grands modèles linguistiques .
" Les grands modèles de langage ont une fiabilité limitée, une compréhension limitée, une portée limitée et nécessitent donc une supervision humaine . " - Michael Osborne, professeur d'apprentissage automatique au Département des sciences de l'ingénierie, Université d'Oxford, 25 janvier 2023
Bienvenue pour partager vos articles, réflexions et idées dans ce domaine !
GPT est une banque d'informations peu fiable
Noble Ackerson
[Lien]
20 février 2023
« Utilisation abusive » des grands modèles de langage et l’avenir de la TA
Arle Lommel
[Lien]
20 décembre 2022
Grands modèles de langage : les bases et leurs applications
Margo Poda
[Lien]
9 février 2023
Ingénierie rapide : améliorer les réponses et la fiabilité
Pierre Foy
[Lien]
19 mars 2023
Livre de recettes d'OpenAI sur les techniques pour améliorer la fiabilité
OpenAI
[GitHub]
18 mars 2023
Balise GPT/calibrage
Gwern Branwen
[Lien]
Ingénierie rapide
Lilian Weng
[Lien]
Agents autonomes propulsés par LLM
Lilian Weng
[Lien]
Fiabilité dans l'incitation à l'apprentissage
[Lien]
Création d'applications LLM pour la production
Chip Huyen
[Lien]
11 avril 2023
Rapport technique GPT-4
OpenAI
arXiv 2023. [Papier][Livre de recettes]
16 mars 2023
Carte système GPT-4
OpenAI
arXiv 2023. [Papier] [Github]
15 mars 2023
Estimation de l'incertitude pour le traitement du langage naturel
Adam Fisch, Robin Jia, Tal Schuster
COLLING 2022. [Site Internet]
Des réseaux LLM plus larges et plus profonds sont des évaluateurs LLM plus équitables
Xinghua Zhang, Bowen Yu, Haiyang Yu, Yangyu Lv, Tingwen Liu, Fei Huang, Hongbo Xu, Yongbin Li
arXiv 2023. [Papier][Github]
3 août 2023
Une enquête sur l'évaluation des grands modèles de langage
Yupeng Chang, Xu Wang, Jindong Wang, Yuan Wu, Kaijie Zhu, Hao Chen, Linyi Yang, Xiaoyuan Yi, Cunxiang Wang, Yidong Wang, Wei Ye, Yue Zhang, Yi Chang, Philip S. Yu, Qiang Yang, Xing Xie
Arxiv 2023. [Papier][Github]
6 juil. 2023
DecodingTrust : une évaluation complète de la fiabilité des modèles GPT
Boxin Wang, Weixin Chen, Hengzhi Pei, Chulin Xie, Mintong Kang, Chenhui Zhang, Chejian Xu, Zidi Xiong, Ritik Dutta, Rylan Schaeffer, Sang T. Truong, Simran Arora, Mantas Mazeika, Dan Hendrycks, Zinan Lin, Yu Cheng, Sanmi Koyejo, Chanson de l'aube, Bo Li
Arxiv, 2023. [Papier] [Github] [Site Web]
20 juin 2023
Dans ChatGPT, nous faisons confiance ? Mesurer et caractériser la fiabilité de ChatGPT
Xinyue Shen, Zeyuan Chen, Michael Backes, Yang Zhang
arXiv, 2023. [Papier]
18 avril 2023
Exploiter la puissance des LLM en pratique : une enquête sur ChatGPT et au-delà
Jingfeng Yang, Hongye Jin, Ruixiang Tang, Xiaotian Han, Qizhang Feng, Haoming Jiang, Bing Yin, Xia Hu
arXiv 2023. [Papier][Github]
27 avril 2023
Dans quelle mesure GPT-3.5 est-il robuste par rapport à ses prédécesseurs ? Une étude complète sur les tâches de compréhension du langage
Xuanting Chen, Junjie Ye, Can Zu, Nuo Xu, Rui Zheng, Minlong Peng, Jie Zhou, Tao Gui, Qi Zhang, Xuanjing Huang
arXiv 2023. [Papier][Github]
1er mars 2023
Évaluation holistique des modèles de langage
Percy Liang, Rishi Bommasani, Tony Lee, Dimitris Tsipras, Dilara Soylu, Michihiro Yasunaga, Yian Zhang, Deepak Narayanan, Yuhuai Wu, Ananya Kumar, Benjamin Newman, Binhang Yuan, Bobby Yan, Ce Zhang, Christian Cosgrove, Christopher D. Manning, Christopher Ré, Diana Acosta-Navas, Drew A. Hudson, Eric Zelikman, Esin Durmus, Faisal Ladhak, Frieda Rong, Hongyu Ren, Huaxiu Yao, Jue Wang, Keshav Santhanam, Laurel Orr, Lucia Zheng, Mert Yuksekgonul, Mirac Suzgun, Nathan Kim, Neel Guha, Niladri Chatterji, Omar Khattab, Peter Henderson, Qian Huang, Ryan Chi, Sang Michael Xie, Shibani Santurkar, Surya Ganguli, Tatsunori Hashimoto, Thomas Icard, Tianyi Zhang, Vishrav Chaudhary, William Wang, Xuechen Li, Yifan Mai, Yuhui Zhang, Yuta Koreeda
arXiv 2022. [Papier] [Site Web] [Github] [Blog]
16 novembre 2022
Inviter GPT-3 à être fiable
Chenglei Si, Zhe Gan, Zhengyuan Yang, Shuohang Wang, Jianfeng Wang, Jordan Boyd-Graber, Lijuan Wang
ICLR 2023. [Papier] [Github]
17 octobre 2022
Plex : vers la fiabilité à l'aide d'extensions de grands modèles pré-entraînées
Dustin Tran, Jeremiah Liu, Michael W. Dusenberry, Du Phan, Mark Collier, Jie Ren, Kehang Han, Zi Wang, Zelda Mariet, Huiyi Hu, Neil Band, Tim GJ Rudner, Karan Singhal, Zachary Nado, Joost van Amersfoort, Andreas Kirsch, Rodolphe Jenatton, Nithum Thain, Honglin Yuan, Kelly Buchanan, Kevin Murphy, D. Sculley, Yarin Gal, Zoubin Ghahramani, Jasper Snoek, Balaji Lakshminarayanan
arXiv 2022. [Papier]
15 juil. 2022
Les modèles linguistiques savent (pour la plupart) ce qu’ils savent
Saurav Kadavath, Tom Conerly, Amanda Askell, Tom Henighan, Dawn Drain, Ethan Perez, Nicholas Schiefer, Zac Hatfield-Dodds, Nova DasSarma, Eli Tran-Johnson, Scott Johnston, Sheer El-Showk, Andy Jones, Nelson Elhage, Tristan Hume , Anna Chen, Yuntao Bai, Sam Bowman, Stanislav Fort, Deep Ganguli, Danny Hernandez, Josh Jacobson, Jackson Kernion, Shauna Kraavec, Liane Lovitt, Kamal Ndousse, Catherine Olsson, Sam Ringer, Dario Amodei, Tom Brown, Jack Clark, Nicholas Joseph, Ben Mann, Sam McCandlish, Chris Olah, Jared Kaplan
arXiv 2022. [Papier]
11 juillet 2022
Modèles de langage augmentés : une enquête
Grégoire Mialon, Roberto Dessì, Maria Lomeli, Christoforos Nalmpantis, Ram Pasunuru, Roberta Raileanu, Baptiste Rozière, Timo Schick, Jane Dwivedi-Yu, Asli Celikyilmaz, Edouard Grave, Yann LeCun, Thomas Scialom
arXiv 2023. [Papier]
15 février 2023
Une enquête sur les mesures d'évaluation utilisées pour les systèmes NLG
Ananya B. Sai, Akash Kumar Mohankumar, Mitesh M. Khapra
Enquête informatique ACM, 2022. [Papier]
18 janvier 2022
NL-Augmenter : un cadre pour l'augmentation du langage naturel sensible aux tâches
Kaustubh D. Dhole et coll.
ACL 2021. [Papier][Github]
6 décembre 2021
TextFlint : boîte à outils d'évaluation de robustesse multilingue unifiée pour le traitement du langage naturel
Tao Gui et coll.
arXiv 2021. [Papier][Github]
21 mars 2021
Robustness Gym : unifier le paysage de l'évaluation de la PNL
Karan Goel, Nazneen Rajani, Jesse Vig, Samson Tan, Jason Wu, Stephan Zheng, Caiming Xiong, Mohit Bansal, Christopher Ré
ACL 2021. [Papier] [Github]
13 janvier 2021
Au-delà de la précision : tests comportementaux des modèles PNL avec CheckList
Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, Sameer Singh
ACL 2020. [Papier][Github]
8 mai 2020
BLoB : adaptation bayésienne de bas rang par rétropropagation pour les grands modèles de langage
Yibin Wang, Haizhou Shi, Ligong Han, Dimitris Metaxas, Hao Wang
arXiv 2024. [Papier]
18 juin 2024
Estimation et quantification de l'incertitude pour les LLM : une approche supervisée simple
Linyu Liu, Yu Pan, Xiaocheng Li, Guanting Chen
arXiv 2024. [Papier]
24 avril 2024
Déplacer l'attention vers la pertinence : vers l'estimation de l'incertitude des grands modèles linguistiques
Jinhao Duan, Hao Cheng, Shiqi Wang, Alex Zavalny, Chenan Wang, Renjing Xu, Bhavya Kailkhura, Kaidi Xu
arXiv 2023. [Papier]
9 octobre 2023
Regardez avant de vous lancer : une étude exploratoire de la mesure de l'incertitude pour les grands modèles de langage
Yuheng Huang, Jiayang Song, Zhijie Wang, Shengming Zhao, Huaming Chen, Felix Juefei-Xu, Lei Ma
arXiv 2023. [Papier]
16 juil. 2023
Quantification de l'incertitude dans les explications en langage naturel des grands modèles de langage
Sree Harsha Tanneru, Chirag Agarwal, Himabindu Lakkaraju
arXiv 2023. [Papier]
6 novembre 2023
Génération autorégressive conforme : recherche de faisceaux avec garanties de couverture
Nicolas Deutschmann, Marvin Alberts, María Rodríguez Martínez
arXiv 2023. [Papier]
7 septembre 2023
Quantifier l'incertitude dans les réponses de n'importe quel modèle de langage et améliorer leur fiabilité
Jiuhai Chen, Jonas Mueller
arXiv 2023. [Papier]
30 août 2023
Incertitude dans la génération de langage naturel : de la théorie aux applications
Joris Baan, Nico Daheim, Evgenia Ilia, Dennis Ulmer, Haau-Sing Li, Raquel Fernández, Barbara Plank, Rico Sennrich, Chrysoula Zerva, Wilker Aziz
arXiv 2023. [Papier]
28 juillet 2023
Générer en toute confiance : quantification de l'incertitude pour les grands modèles de langage en boîte noire
Zhen Lin, Shubhendu Trivedi, Jimeng Sun
arXiv 2023. [Papier] [Github]
30 mai 2023
Incertitude humaine dans les systèmes d'IA basés sur des concepts
Katherine M. Collins, Matthew Barker, Mateo Espinosa Zarlenga, Naveen Raman, Umang Bhatt, Mateja Jamnik, Ilia Sucholutsky, Adrian Weller, Krishnamurthy Dvijotham
arXiv 2023. [Papier]
22 mars 2023
Naviguer dans la zone grise : expressions d’excès de confiance et d’incertitude dans les modèles linguistiques
Kaitlyn Zhou, Dan Jurafsky, Tatsunori Hashimoto
arXiv 2023. [Papier]
25 février 2023
DEUP : Prédiction directe de l'incertitude épistémique
Salem Lahlou, Moksh Jain, Hadi Nekoei, Victor Ion Butoi, Paul Bertin, Jarrid Rector-Brooks, Maksym Korablyov, Yoshua Bengio
TMLR 2023. [Papier]
3 février 2023
Sur la quantification de l'incertitude de composition pour l'analyse de graphiques Seq2seq
Zi Lin, Du Phan, Panupong Pasupat, Jeremiah Zhe Liu, Jingbo Shang
ICLR 2023. [Papier]
1 février 2023
Inférence neuro-symbolique pour une analyse robuste de graphiques autorégressifs via la quantification de l'incertitude de composition
Zi Lin, Jérémie Liu, Jingbo Shang
EMNLP 2022. [Papier]
16 janvier 2023
Modèles pédagogiques pour exprimer leur incertitude avec des mots
Stephanie Lin, Jacob Hilton, Owain Evans
TMLR 2022. [Papier] [Github] [TMLR] [Diapositive]
28 mai 2022
Incertitude sémantique : invariances linguistiques pour l'estimation de l'incertitude dans la génération de langage naturel
Lorenz Kuhn, Yarin Gal, Sebastian Farquhar
ICLR 2023. [Papier]
19 février 2022
Sélection de données de démarrage à froid pour un réglage fin du modèle de langage en quelques étapes : une approche de propagation de l'incertitude basée sur des invites
Yue Yu, Rongzhi Zhang, Ran Xu, Jieyu Zhang, Jiaming Shen, Chao Zhang
arXiv 2022. [Papier][Github]
15 septembre 2022
Affiner les modèles linguistiques via des réseaux de neurones épistémiques
Ian Osband, Seyed Mohammad Asghari, Benjamin Van Roy, Nat McAleese, John Aslanides, Geoffrey Irving
arXiv 2022. [Papier][Github]
3 novembre 2022
Quantification de l'incertitude avec des modèles linguistiques pré-entraînés : une analyse empirique à grande échelle
Yuxin Xiao, Paul Pu Liang, Umang Bhatt, Willie Neiswanger, Ruslan Salakhutdinov, Louis-Philippe Morency
EMNLP 2022 (Résultats). [Papier][Github]
10 octobre 2022
Estimation de l'incertitude pour les modèles de récompense linguistique
Adam Gleave, Geoffrey Irving
arXiv 2022. [Papier]
14 mars 2022
Estimation de l'incertitude et réduction des modèles pré-entraînés pour la régression de texte
Yuxia Wang, Daniel Beck, Timothy Baldwin, Karin Verspoor
TACL 2022. [Papier]
juin 2022
Estimation de l'incertitude dans la prévision structurée autorégressive
Andreï Malinin, Mark Gales
ICLR 2021. [Papier]
18 février 2020
Estimation de la qualité non supervisée pour la traduction automatique neuronale
Marina Fomicheva, Shuo Sun, Lisa Yankovskaya, Frédéric Blain, Francisco Guzmán, Mark Fishel, Nikolaos Aletras, Vishrav Chaudhary, Lucia Specia
TACL 2020. [Papier][Ensemble de données]
21 mai 2020
Analyser l'incertitude dans la traduction automatique neuronale
Myle Ott, Michael Auli, David Grangier, Marc'Aurelio Ranzato
ICML 2018. [Papier]
2018
Calibrage par lots : repenser le calibrage pour l'apprentissage en contexte et l'ingénierie rapide
Han Zhou, Xingchen Wan, Lev Proleev, Diana Mincu, Jilin Chen, Katherine Heller, Subhrajit Roy
ICLR 2024. [Papier] 24 janvier 2024
Les grands modèles linguistiques savent-ils ce qu’ils ne savent pas ?
Zhangyue Yin, Qiushi Sun, Qipeng Guo, Jiawen Wu, Xipeng Qiu, Xuanjing Huang
arXiv 2023. [Papier] 29 mai 2023
Demandez simplement un calibrage : stratégies pour obtenir des scores de confiance calibrés à partir de modèles linguistiques affinés avec les commentaires humains
Katherine Tian, Eric Mitchell, Allan Zhou, Archit Sharma, Rafael Rafailov, Huaxiu Yao, Chelsea Finn, Christopher D. Manning
arXiv 2023. [Papier]
24 mai 2023
Vers une atténuation fiable de la désinformation : généralisation, incertitude et GPT-4
Kellin Pelrine, Meilina Reksoprodjo, Caleb Gupta, Joel Christoph, Reihaneh Rabbany
arXiv 2023. [Papier]
24 mai 2023
Interprétation calibrée : estimation de la confiance dans l'analyse sémantique
Elias Stengel-Eskin, Benjamin Van Durme
arXiv 2022. [Papier] [Github]
14 novembre 2022.
L'étalonnage de la probabilité de séquence améliore la génération de langage conditionnel
Yao Zhao, Misha Khalman, Rishabh Joshi, Shashi Narayan, Mohammad Saleh, Peter J. Liu
ICLR 2023. [Papier]
30 septembre 2022
Classification sélective calibrée
Adam Fisch, Tommi Jaakkola, Regina Barzilay
TMLR 2022. [Papier]
25 août 2022
Réduire l’excès de confiance des agents conversationnels grâce à l’étalonnage linguistique
Sabrina J. Mielke, Arthur Szlam, Emily Dinan, Y-Lan Boureau
NAACL 2022. [Papier]
22 juin 2022
Réexamen de l’étalonnage : le cas de la réponse aux questions
Chenglei Si, Chen Zhao, Sewon Min, Jordan Boyd-Graber
Résultats de l'EMNLP 2022. [Papier]
25 mai 2022
Vers une analyse sémantique collaborative de graphes neuro-symboliques via l'incertitude
Zi Lin, Jérémie Liu, Jingbo Shang
Doigtages du LCA 2022. [Papier]
22 mai 2022
Évaluation de la traduction automatique tenant compte des incertitudes
Taisiya Glushkova, Chrysoula Zerva, Ricardo Rei, André FT Martins
EMNLP 2021. [Papier]
13 septembre 2021
Calibrer avant utilisation : améliorer les performances en quelques étapes des modèles de langage
Tony Z. Zhao, Eric Wallace, Shi Feng, Dan Klein, Sameer Singh
ICML 2021. [Papier][Github
19 février 2021
Comment pouvons-nous savoir quand les modèles linguistiques le savent ? Sur le calibrage des modèles linguistiques pour la réponse aux questions
Zhengbao Jiang, Jun Araki, Haibo Ding, Graham Neubig
TACL 2021. [Papier][Github]
2 décembre 2020
Calibrage des transformateurs pré-entraînés
Shrey Desai, Greg Durrett
EMNLP 2020. [Papier][Github]
17 mai 2020
Arbre de clarification : répondre à des questions ambiguës avec de grands modèles de langage augmentés par récupération
Gangwoo Kim, Sungdong Kim, Byeongguk Jeon, parc Joonsuk, Jaewoo Kang
EMNLP 2023. [Papier][Github]
23 octobre 2023
Répondre sélectivement aux questions ambiguës
Jeremy R. Cole, Michael JQ Zhang, Daniel Gillick, Julian Martin Eisenschlos, Bhuwan Dhingra, Jacob Eisenstein arXiv 2023. [Papier]
24 mai 2023
Nous avons peur que les modèles linguistiques ne modélisent pas l'ambiguïté Alisa Liu, Zhaofeng Wu, Julian Michael, Alane Suhr, Peter West, Alexander Koller, Swabha Swayamdipta, Noah A. Smith, Yejin Choi
arXiv 2023. [Papier][Github]
24 avril 2023
Ambiguïté des tâches chez les humains et les modèles linguistiques
Alex Tamkin, Kunal Handa, Avash Shrestha, Noah Goodman
ICLR 2023. [Papier][Github]
20 décembre 2022
CLAM : Clarification sélective des questions ambiguës avec des modèles de langage génératifs
Lorenz Kuhn, Yarin Gal, Sebastian Farquhar
arXiv 2022. [Papier]
15 décembre 2022
Comment aborder les requêtes ambiguës dans la recherche conversationnelle : une enquête sur les techniques, les approches, les outils et les défis
Kimiya Keyvan, Jimmy Xiangji Huang
Enquête informatique ACM, 2022. [Papier]
7 décembre 2022
Assistance avec de grands modèles de langage
Dmitri Krasheninnikov, Egor Krasheninnikov, David Krueger
Atelier NeurIPS MLSW 2022. [Papier]
5 décembre 2022
Pourquoi le poulet a-t-il traversé la route ? Reformuler et analyser des questions ambiguës dans VQA
Elias Stengel-Eskin, Jimena Guallar-Blasco, Yi Zhou, Benjamin Van Durme
arXiv 2022. [Papier][Github]
14 novembre 2022
Abg-CoQA : Clarifier l'ambiguïté dans la réponse aux questions conversationnelles
Meiqi Guo, Mingda Zhang, Siva Reddy, Malihe Alikhani
AKBC 2021. [Papier]
22 juin 2021
L'écart confiance-compétence dans les grands modèles linguistiques : une étude cognitive
Aniket Kumar Singh, Suman Devkota, Bishal Lamichhane, Uttam Dhakal, Chandra Dhakal
arXiv 2023. [Papier]
28 septembre 2023
La force du nombre : estimer la confiance dans les grands modèles linguistiques grâce à un accord rapide
Gwenyth Portillo Wightman, Alexandra Delucia, Mark Dredze
Atelier ACL TrustNLP 2023. [Papier]
1 juillet 2023
Quelles sont les différentes approches pour détecter le contenu généré par les LLM tels que ChatGPT ? Et comment fonctionnent-ils et diffèrent-ils ?
Sébastien Raschka
[Lien] [GPTZéro]
1 février 2023
DetectGPT : Détection de texte généré par machine Zero-Shot à l'aide de la courbure de probabilité
Eric Mitchell, Yoonho Lee, Alexander Khazatsky, Christopher D. Manning, Chelsea Finn
arXiv 2023. [Papier][Site Web]
26 janvier 2023
Modélisation linguistique adaptative et sûre
Tal Schuster, Adam Fisch, Jai Gupta, Mostafa Dehghani, Dara Bahri, Vinh Q. Tran, Yi Tay, Donald Metzler
NeurIPS 2022. [Papier] 25 octobre 2022
Contrôle conforme des risques
Anastasios N. Angelopoulos, Stephen Bates, Adam Fisch, Lihua Lei, Tal Schuster
arXiv 2022. [Papier][Github]
4 août 2022
Une enquête sur l'apprentissage actif pour le traitement du langage naturel
Zhisong Zhang, Emma Strubell, Eduard Hovy
EMNLP 2022. [Papier][Github]
18 octobre 2022
Invite active avec chaîne de pensée pour les grands modèles de langage
Shizhe Diao, Pengcheng Wang, Yong Lin, Tong Zhang
arXiv 2023. [Papier][Github]
23 février 2023
Étiquetage actif interactif à faibles ressources pour affiner les modèles de langage
Seiji Maekawa, Dan Zhang, Hannah Kim, Sajjadur Rahman, Estevam Hruschka
Résultats de l'EMNLP 2022. [Papier]
7 décembre 2022
Pouvez-vous étiqueter moins en utilisant des données hors domaine ? Apprentissage actif et par transfert avec quelques instructions
Rafal Kocielnik, Sara Kangaslahti, Shrimai Prabhumoye, Meena Hari, R. Michael Alvarez, Anima Anandkumar
Atelier NeurIPS 2022. [Papier]
21 novembre 2022
AfroLM : un modèle linguistique multilingue pré-entraîné basé sur l'apprentissage autonome pour 23 langues africaines
Bonaventure FP Dossou, Atnafu Lambebo Tonja, Oreen Yousuf, Salomey Osei, Abigail Oppong, Iyanuoluwa Shode, Oluwabusayo Olufunke Awoyomi, Chris Chinenye Emezue
EMNLP 2022. [Papier][Github]
7 novembre 2022
L'apprentissage actif aide les modèles pré-entraînés à apprendre la tâche prévue
Alex Tamkin, Dat Pham Nguyen, Salil Deshpande, Jesse Mu, Noah Goodman
NeurIPS 2022. [Papier][Github]
31 octobre 2022
L'annotation sélective améliore les modèles linguistiques
Hongjin Su, Jungo Kasai, Chen Henry Wu, Weijia Shi, Tianlu Wang, Jiayi Xin, Rui Zhang, Mari Ostendorf, Luke Zettlemoyer, Noah A. Smith, Tao Yu
ICLR 2023. [Papier][Github]
5 septembre 2022
Apprentissage actif multitâche pour les modèles pré-entraînés basés sur un transformateur
Guy Rotman, Roi Reichart
TACL 2022. [Papier] [Github]
10 août 2022
AcTune : auto-formation active basée sur l'incertitude pour un réglage fin actif des modèles de langage pré-entraînés
Yue Yu, Lingkai Kong, Jieyu Zhang, Rongzhi Zhang, Chao Zhang
NAACL-HLT2022. [Papier] [Github]
10 juillet 2022
Vers un apprentissage actif profond informatiquement réalisable
Akim Tsvigun, Artem Shelmanov, Gleb Kuzmin, Leonid Sanochkin, Daniil Larionov, Gleb Gusev, Manvel Avetisian, Leonid Zhukov
NAACL 2022. [Papier] [Github]
7 mai 2022
FAMIE : un cadre d'apprentissage actif rapide pour l'extraction d'informations multilingues
Minh Van Nguyen, Nghia Trung Ngo, Bonan Min, Thien Huu Nguyen
NAACL 2022. [Papier] [Github]
16 février 2022
Sur l'importance d'adapter efficacement les modèles linguistiques pré-entraînés pour l'apprentissage actif
Katerina Margatina, Loïc Barrault, Nikolaos Aletras
ACL 2022. [Papier]
2 mars 2022
Limites de l'apprentissage actif avec les modèles de langage Deep Transformer
Mike D'Arcy, Doug Downey
Arxiv 2022. [Papier]
28 janvier 2022
Apprentissage actif en acquérant des exemples contrastés
Katerina Margatina, Giorgos Vernikos, Loïc Barrault, Nikolaos Aletras
EMNLP 2021. [Papier][Github]
8 septembre 2021
Revisiter les stratégies de requête basées sur l'incertitude pour l'apprentissage actif avec Transformers
Christopher Schröder, Andreas Niekler, Martin Potthast
Résultats de l’ACL 2022. [Papier][Github]
12 juil. 2021
Apprentissage actif pour le marquage de séquences avec des modèles pré-entraînés approfondis et des estimations d'incertitude bayésiennes
Artem Shelmanov, Dmitri Puzyrev, Lyubov Kupriyanova, Denis Belyakov, Daniil Larionov, Nikita Khromov, Olga Kozlova, Ekaterina Artemova, Dmitry V. Dylov, Alexander Panchenko
EACL 2021. [Papier]
18 février 2021
Affiner le BERT pour la compréhension du langage naturel à faibles ressources via l'apprentissage actif
Daniel Grießhaber, Johannes Maucher, Ngoc Thang Vu
COLING 2020. [Papier]
4 décembre 2020
superbe détection d'hallucinations
HallusionBench : une suite de diagnostic avancée pour les hallucinations de langage intriqué et les illusions visuelles dans les grands modèles vision-langage
Tianrui Guan*, Fuxiao Liu*, Xiyang Wu, Ruiqi Xian, Zongxia Li, Xiaoyu Liu, Xijun Wang, Lichang Chen, Furong Huang, Yaser Yacoob, Dinesh Manocha, Tianyi Zhou
CVPR 2024. [Papier][Github]
18 mars 2024
SAC
Jiaxin Zhang, Zhuohang Li, Kamalika Das, Bradley A. Malin, Sricharan Kumar
EMNLP 2023. [Papier][Github]
3 novembre 2023
Classement des hallucinations
Vectara
[Lien]
2 novembre 2023
Au-delà de la réalité : une évaluation complète des grands modèles linguistiques en tant que générateurs de connaissances
Liang Chen, Yang Deng, Yatao Bian, Zeyu Qin, Bingzhe Wu, Tat-Seng Chua, Kam-Fai Wong
EMNLP 2023. [Papier][Github]
12 octobre 2023
La chaîne de vérification réduit les hallucinations dans les grands modèles de langage
Shehzaad Dhuliawala, Mojtaba Komeili, Jing Xu, Roberta Raileanu, Xian Li, Asli Celikyilmaz, Jason Weston
arXiv 2023. [Papier]
20 septembre 2023
Les modèles linguistiques savent-ils quand ils hallucinent des références ?
Ayush Agrawal, Lester Mackey, Adam Tauman Kalai
arXiv 2023. [Papier]
29 mai 2023.
Hallucinations auto-contradictoires des grands modèles de langage : évaluation, détection et atténuation
Niels Mündler, Jingxuan He, Slobodan Jenko, Martin Vechev
arXiv 2023. [Papier]
25 mai 2023
Pourquoi ChatGPT ne parvient-il pas à fournir des réponses véridiques ?
Shen Zheng, Jie Huang, Kevin Chen-Chuan Chang
arXiv 2023. [Papier]
24 mai 2023
Comment les hallucinations des modèles de langage peuvent faire boule de neige
Muru Zhang, Ofir Press, William Merrill, Alisa Liu, Noah A. Smith
arXiv 2023. [Papier]
22 mai 2023
LM vs LM : détection des erreurs factuelles via un contre-interrogatoire
Roi Cohen, May Hamri, Mor Geva, Amir Globerson
arXiv 2023. [Papier]
22 mai 2023
HaluEval : une référence d'évaluation des hallucinations à grande échelle pour les grands modèles de langage
Junyi Li, Xiaoxue Cheng, Wayne Xin Zhao, Jian-Yun Nie, Ji-Rong Wen
arXiv 2023. [Papier] 19 mai 2023
SelfCheckGPT : Détection d'hallucinations par boîte noire sans ressources pour les grands modèles de langage génératifs
Potsawee Manakul, Adian Liusie, Mark JF Gales
arXiv 2023. [Papier] [Github]
8 mars 2023
Vérifiez vos faits et réessayez : améliorer les grands modèles de langage grâce à des connaissances externes et des commentaires automatisés
Baolin Peng, Michel Galley, Pengcheng He, Hao Cheng, Yujia Xie, Yu Hu, Qiuyuan Huang, Lars Liden, Zhou Yu, Weizhu Chen, Jianfeng Gao
arXiv 2023. [Papier]
23 février 2023
RHO (ρ) : Réduire les hallucinations dans les dialogues en domaine ouvert grâce à l'ancrage des connaissances
Ziwei Ji, Zihan Liu, Nayeon Lee, Tiezheng Yu, Bryan Wilie, Min Zeng, Pascale Fung
arXiv 2022. [Papier]
3 décembre 2022
FaithDial : une référence fidèle pour le dialogue en matière de recherche d'informations
Nouha Dziri, Ehsan Kamalloo, Sivan Milton, Osmar Zaiane, Mo Yu, Edoardo M. Ponti, Siva Reddy
TACL 2022. [Papier]
22 avril 2022
Enquête sur les hallucinations dans la génération du langage naturel
Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Yejin Bang, Wenliang Dai, Andrea Madotto, Pascale Fung
arXiv 2022. [Papier]
8 février 2022
TruthX : atténuer les hallucinations en éditant de grands modèles de langage dans un espace véridique Shaolei Zhang, Tian Yu, Yang Feng
arXiv 2024. [Papier] [Github]
27 février 2024
Intervention en temps d'inférence : obtenir des réponses véridiques à partir d'un modèle de langage Kenneth Li, Oam Patel, Fernanda Viégas, Hanspeter Pfister, Martin Wattenberg
arXiv 2023. [Papier] [Github]
6 juin 2023
L'état interne d'un LLM sait quand il ment
Amos Azaria, Tom Mitchell
arXiv 2023. [Papier]
26 avril 2023
TruthfulQA : mesurer la façon dont les modèles imitent les mensonges humains
Stephanie Lin, Jacob Hilton, Owain Evans
ACL 2022. [Papier] [Github] [Blog]
8 septembre 2021
IA véridique : développer et gouverner une IA qui ne ment pas
Owain Evans, Owen Cotton-Barratt, Lukas Finnveden, Adam Bales, Avital Balwit, Peter Wills, Luca Righetti, William Saunders
arXiv 2021. [Papier] [Blog]
13 octobre 2021
Mesurer la fiabilité des grands modèles de langage grâce à la cohérence sémantique
Harsh Raj, Domenic Rosati, Subhabrata Majumdar
Atelier de sécurité NeurIPS 2022 ML. [Papier]
10 novembre 2022
REFINER : Retour de raisonnement sur les représentations intermédiaires
Debjit Paul, Mete Ismayilzada, Maxime Peyrard, Beatriz Borges, Antoine Bosselut, Robert West, Boi Faltings
arXiv 2023. [Papier]
4 avril 2023
OpenICL : un framework open source pour l'apprentissage en contexte
Zhenyu Wu, YaoXiang Wang, Jiacheng Ye, Jiangtao Feng, Jingjing Xu, Yu Qiao, Zhiyong Wu
arXiv 2023. [Papier] [Github]
6 mars 2023
Compréhension fiable du langage naturel avec de grands modèles de langage et la programmation d'ensembles de réponses
Abhiramon Rajasekharan, Yankai Zeng, Parth Padalkar, Gopal Gupta
arXiv 2023. [Papier]
7 février 2023
L'auto-cohérence améliore le raisonnement en chaîne de pensée dans les modèles de langage
Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou
ICLR 2023. [Papier]
21 mars 2022
L'incitation à la chaîne de pensée suscite un raisonnement dans de grands modèles de langage.
Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed Chi, Quoc Le, Denny Zhou
arXiv 2022. [Papier]
28 janvier 2022
STaR : Raisonneur autodidacte qui amorce le raisonnement avec le raisonnement.
Eric Zelikman, Yuhuai Wu, Noah D. Goodman
NeurIPS 2022. [Papier][Github]
28 mars 2022
Le manque de fiabilité des explications en quelques plans invitant au raisonnement textuel
Xi Ye, Greg Durrett
NeurIPS 2022. [Papier] [Github]
6 mai 2022
Ensembles rationalisés dans les modèles linguistiques
Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Denny Zhou
arXiv 2022. [Papier]
2 juil. 2022
ReAct : mettre en synergie le raisonnement et l'action dans les modèles linguistiques
Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao
ICLR 2023. [Article] [Github] [Projet]
6 octobre 2022
Après réflexion, ne réfléchissons pas étape par étape ! Biais et toxicité dans le raisonnement Zero-Shot
Omar Shaikh, Hongxin Zhang, William Held, Michael Bernstein, Diyi Yang
arXiv 2022. [Papier]
15 décembre 2022
Sur les progrès visant à rendre les modèles linguistiques de meilleurs raisonneurs
Yifei Li, Zeqi Lin, Shizhuo Zhang, Qiang Fu, Bei Chen, Jian-Guang Lou, Weizhu Chen
arXiv 2022. [Papier][Github]
6 juin 2022
Demandez-moi n'importe quoi : une stratégie simple pour demander des modèles de langage
Simran Arora, Avanika Narayan, Mayee F. Chen, Laurel Orr, Neel Guha, Kush Bhatia, Ines Chami, Frederic Sala, Christopher Ré
arXiv 2022. [Papier][Github]
5 octobre 2022
MathPrompter : raisonnement mathématique à l'aide de grands modèles de langage
Shima Imani, Liang Du, Harsh Shrivastava
arXiv 2023. [Papier]
4 mars 2023
Invite basée sur la complexité pour un raisonnement en plusieurs étapes
Yao Fu, Hao Peng, Ashish Sabharwal, Peter Clark, Tushar Khot
arXiv 2022. [Papier][Github]
3 octobre 2022
Mesurer et réduire l'écart de composition dans les modèles linguistiques
Ofir Press, Muru Zhang, Sewon Min, Ludwig Schmidt, Noah A. Smith, Mike Lewis
arXiv 2022. [Papier][Github] 7 octobre 2022
Récupération entrelacée avec raisonnement en chaîne de pensée pour des questions en plusieurs étapes à forte intensité de connaissances
Harsh Trivedi, Niranjan Balasubramanian, Tushar Khot, Ashish Sabharwal
arXiv 2023. [Papier][Github]
20 décembre 2022
Grands modèles de langage comme optimiseurs
Chengrun Yang, Xuezhi Wang, Yifeng Lu, Hanxiao Liu, Quoc V. Le, Denny Zhou, Xinyun Chen
arXiv 2023. [Papier]
7 septembre 2023
InstructZero : optimisation efficace des instructions pour les grands modèles de langage Black-Box
Lichang Chen, Jiuhai Chen, Tom Goldstein, Heng Huang, Tianyi Zhou
arXiv 2023. [Papier] [Github]
5 juin 2023
Promptboosting : classification de texte en boîte noire avec dix passes avant
Bairu Hou, Joe O'Connor, Jacob Andreas, Shiyu Chang, Yang Zhang
ICML 2023. [Papier][Github]
23 janvier 2023
GRIPS : recherche d'instructions sans dégradé et basée sur l'édition pour inviter de grands modèles de langage
Archiki Prasad, Peter Hase, Xiang Zhou, Mohit Bansal
EACL 2023. [Papier][Github]
14 mars 2022
RLPrompt : optimisation des invites de texte discret avec l'apprentissage par renforcement
Mingkai Deng, Jianyu Wang, Cheng-Ping Hsieh, Yihan Wang, Han Guo, Tianmin Shu, Meng Song, Eric P. Xing, Zhiting Hu
EMNLP 2022. [Papier][Github]
25 mai 2022
Apprentissage rapide en boîte noire pour les modèles linguistiques pré-entraînés
Shizhe Diao, Zhichao Huang, Ruijia Xu, Xuechun Li, Yong Lin, Xiao Zhou, Tong Zhang
TMLR 2023. [Papier][Github]
22 janvier 2022
Réglage de la boîte noire pour le modèle de langage en tant que service
Tianxiang Sun, Yunfan Shao, Hong Qian, Xuanjing Huang, Xipeng Qiu
ICML 2022. [Papier][Github]
10 janvier 2022
BBTv2 : vers un avenir sans gradient avec de grands modèles de langage
Tianxiang Sun, Zhengfu He, Hong Qian, Yunhua Zhou, Xuanjing Huang, Xipeng Qiu EMNLP 2022. [Papier] [Github]
7 décembre 2022
Chaîne de pensée automatique dans les grands modèles linguistiques
Zhuosheng Zhang, Aston Zhang, Mu Li, Alex Smola
ICLR 2023. [Papier][Github]
7 octobre 2022
Augmentation et sélection automatiques des invites avec chaîne de pensée à partir de données étiquetées
KaShun Shum, Shizhe Diao, Tong Zhang
arXiv 2023. [Papier][Github]
24 février 2023
Les grands modèles de langage sont des ingénieurs rapides au niveau humain
Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han, Keiran Paster, Silviu Pitis, Harris Chan, Jimmy Ba
ICLR 2023. [Papier] [Github]
3 novembre 2022
Invites fantastiquement ordonnées et où les trouver : surmonter la sensibilité de l'ordre des invites à quelques prises de vue
Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, Pontus Stenetorp
ACL 2022. [Papier]
Sélection active d'exemples pour l'apprentissage en contexte
Yiming Zhang, Shi Feng, Chenhao Tan
EMNLP 2022. [Papier][Github]
8 novembre 2022
L'annotation sélective améliore les modèles linguistiques
Hongjin Su, Jungo Kasai, Chen Henry Wu, Weijia Shi, Tianlu Wang, Jiayi Xin, Rui Zhang, Mari Ostendorf, Luke Zettlemoyer, Noah A. Smith, Tao Yu
ICLR 2023. [Papier][Github]
5 septembre 2022
Apprendre à récupérer des invites pour l'apprentissage en contexte
Ohad Rubin, Jonathan Herzig, Jonathan Berant
NAACL-HLT 2022. [Papier][Github]
16 décembre 2021
LaMini-LM : un troupeau diversifié de modèles distillés à partir d'instructions à grande échelle
Minghao Wu, Abdul Waheed, Chiyu Zhang, Muhammad Abdul-Mageed, Alham Fikri Aji
arXiv 2023. [Papier][Github]
27 avril 2023
Auto-raffinement : raffinement itératif avec auto-rétroaction
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Sean Welleck, Bodhisattwa Prasad Majumder, Shashank Gupta, Amir Yazdanbakhsh, Peter Clark
arXiv 2023. [Papier][Github] [Site Web]
30 mars 2023
Une invite est-elle suffisante ? N° Une vision globale et plus large de l’apprentissage pédagogique
Renze Lou, Kai Zhang, Wenpeng Yin
arXiv 2023. [Papier][Github]
18 mars 2023
Auto-instruction : aligner le modèle de langage avec les instructions auto-générées
Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A. Smith, Daniel Khashabi, Hannaneh Hajishirzi
arXiv 2022. [Papier] [Github]
20 décembre 2022
IA constitutionnelle : innocuité des commentaires sur l'IA
Yuntao Bai, et al (Anthropique)
arXiv 2022. [Papier]
15 décembre 2022
Découverte des comportements des modèles de langage avec des évaluations écrites sur un modèle
Ethan Pérez et coll.
arXiv 2022. [Papier]
19 décembre 2022
Apprentissage pédagogique en contexte
Seonghyeon Ye, Hyeonbin Hwang, Sohee Yang, Hyeongu Yun, Yireun Kim, Minjoon Seo
arXiv 2023. [Papier][Github]
28 février 2023
Modèles linguistiques améliorés par Internet grâce à des invites en quelques étapes pour répondre à des questions en domaine ouvert
Angeliki Lazaridou, Elena Gribovskaya, Wojciech Stokowiec, Nikolai Grigorev
arXiv 2023. [Papier]
10 mars 2023
Programme de réflexions : démêler le calcul du raisonnement pour les tâches de raisonnement numérique
Wenhu Chen, Xueguang Ma, Xinyi Wang, William W. Cohen
arXiv 2022. [Papier][Github]
22 novembre 2022
PAL : modèles de langage assistés par programme
Luyu Gao, Aman Madaan, Shuyan Zhou, Uri Alon, Pengfei Liu, Yiming Yang, Jamie Callan, Graham Neubig
arXiv 2022. [Papier] [Github] [Projet]
18 novembre 2022
TALM : outils de modèles de langage augmentés
Aaron Parisi, Yao Zhao, Noah Fiedel
arXiv 2022. [Papier]
24 mai 2022
Toolformer : les modèles de langage peuvent apprendre eux-mêmes à utiliser l'outil
Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, Thomas Scialom
arXiv 2023. [Papier]
9 février 2023
Distiller étape par étape ! Surpasser les modèles de langage plus grands avec moins de données de formation et des modèles de plus petite taille
Cheng-Yu Hsieh, Chun-Liang Li, Chih-Kuan Yeh, Hootan Nakhost, Yasuhisa Fujii, Alexander Ratner, Ranjay Krishna, Chen-Yu Lee, Tomas Pfister
arXiv 2023. [Papier]
3 mai 2023
FreeLM : modèle de langage sans réglage fin
Xiang Li1, Xin Jiang, Xuying Meng, Aixin Sun, Yequan Wang
arXiv 2023. [Papier]
2 mai 2023
Curation automatisée des données pour un réglage précis du modèle de langage robuste
Jiuhai Chen, Jonas Mueller
arXiv 2024. [Papier]
19 mars 2024
Modélisation du langage invariant Maxime Peyrard, Sarvjeet Singh Ghotra, Martin Josifoski, Vidhan Agarwal, Barun Patra, Dean Carignan, Emre Kiciman, Robert West
EMNLP 2022. [Papier][Github]
16 octobre 2021
Vers une génération de dialogue personnalisé robuste via une régularisation des représentations insensible à l'ordre
Liang Chen, Hongru Wang, Yang Deng, Wai-Chung Kwan, Kam-Fai Wong
Résultats de l'ACL 2023. [Papier][Github]
22 mai 2023
Explorer les changements distributionnels dans les grands modèles de langage pour l'analyse du code
Shushan Arakelyan, Rocktim Jyoti Das, Yi Mao, Xiang Ren
arXiv 2023. [Papier]
16 mars 2023
Détection hors distribution et génération sélective pour les modèles de langage conditionnel
Jie Ren, Jiaming Luo, Yao Zhao, Kundan Krishna, Mohammad Saleh, Balaji Lakshminarayanan, Peter J. Liu
ICLR 2023. [Papier]
30 septembre 2022
Sur l'adaptation et la généralisation du domaine des modèles de langue pré-étendue: une enquête
Xu Guo, Han Yu
Arxiv 2022. [Papier]
6 novembre 2022
Attaques contradictoires contre les LLM
Lilian Weng [blog]
25 octobre 2023
PromptBench: vers l'évaluation de la robustesse des modèles de gros langues sur les invites contradictoires
Kaijie Zhu, Jindong Wang, Jiaheng Zhou, Zichen Wang, Hao Chen, Yidong Wang, Linyi Yang, Wei Ye, Neil Zhenqiang Gong, Yue Zhang, Xing Xie
Arxiv 2023. [Paper] [GitHub]
7 juin 20223
Sur la robustesse de Chatgpt: une perspective contradictoire et hors distribution
Jindong Wang, Xixu Hu, Wenxin Hou, Hao Chen, Runkai Zheng, Yidong Wang, Linyi Yang, Haojun Huang, Wei Ye, Xiubo Geng, Binxin Jiao, Yue Zhang, Xing Xie
Arxiv 2023. [Paper] [GitHub]
22 février 2023
Test de fiabilité pour les systèmes de traitement du langage naturel
Samson Tan, Shafiq Joty, Kathy Baxter, Araz Taeihagh, Gregory A. Bennett, Min-Yen Kan
ACL-IJCNLP 2021. [Papier]
06 mai 2021
Réponse de question attribuée: évaluation et modélisation pour les modèles de langue importants attribués
Bernd Bohnet, Vinh Q. Tran, Pat Verga, Roee Aharoni, Daniel andor, Livio Baldini Soares, Massimiliano Ciaramita, Jacob Eisenstein, Kuzman Ganchev, Jonathan Herzig, Kai Hui, Tom Kwiatkowski, Ji MA Schuster, William W. Cohen, Michael Collins, Dipanjan Das, Donald Metzler, Slav Petrov, Kellie Webster
Arxiv 2022. [Papier]
15 décembre 2022
Les modèles de grandes langues peuvent-ils déduire la causalité de la corrélation?
Zhijing Jin, Jiarui Liu, Zhiheng Lyu, Spencer Poff, Mrinmaya Sachan, Rada Mihalcea, Mona Diab, Bernhard Schölkopf
Arxiv 2023. [Paper] [GitHub]
9 juin 2023
Indication de sélection: exploiter des modèles de grande langue pour le raisonnement logique interprétable
Antonia Creswell, Murray Shanahan, Irina Higgins
ICLR 2023. [Papier]
19 mai 2022
Enquêter sur la compréhension causale dans les LLM
Marius Hobbhahn, Tom Lieberum, David Seiler
Atelier des Neirips 2022. [Paper] [Blog]
3 octobre 2022
