Awesome LLM Uncertainty Reliability Robustness
1.0.0
Este repositório, chamado UR2-LLMs, contém uma coleção de recursos e artigos sobre Incerteza , Confiabilidade e Robustez em Grandes Modelos de Linguagem .
" Grandes modelos de linguagem têm confiabilidade limitada, compreensão limitada, alcance limitado e, portanto, precisam de supervisão humana ." - Michael Osborne, Professor de Aprendizado de Máquina no Departamento de Ciências da Engenharia, Universidade de Oxford, 25 de janeiro de 2023
Bem-vindo a compartilhar seus artigos, pensamentos e ideias nesta área!
GPT é um armazenamento de informações não confiável
Nobre Ackerson
[Link]
20 de fevereiro de 2023
“Uso indevido” de grandes modelos de linguagem e o futuro da MT
Arle Lommel
[Link]
20 de dezembro de 2022
Grandes modelos de linguagem: o básico e suas aplicações
Margo Poda
[Link]
9 de fevereiro de 2023
Engenharia imediata: melhorando as respostas e a confiabilidade
Pedro Foy
[Link]
19 de março de 2023
Livro de receitas da OpenAI sobre técnicas para melhorar a confiabilidade
OpenAI
[Github]
18 de março de 2023
Etiqueta GPT/calibração
Gwern Branwen
[Link]
Engenharia imediata
Lilian Weng
[Link]
Agentes autônomos alimentados por LLM
Lilian Weng
[Link]
Confiabilidade na solicitação de aprendizagem
[Link]
Construindo aplicativos LLM para produção
Chip Huyen
[Link]
11 de abril de 2023
Relatório Técnico GPT-4
OpenAI
arXiv 2023. [Artigo][Livro de receitas]
16 de março de 2023
Placa de sistema GPT-4
OpenAI
arXiv 2023. [Artigo] [Github]
15 de março de 2023
Estimativa de incerteza para processamento de linguagem natural
Adam Fisch, Robin Jia, Tal Schuster
COLLING 2022. [Site]
Redes LLM mais amplas e profundas são avaliadores LLM mais justos
Xinghua Zhang, Bowen Yu, Haiyang Yu, Yangyu Lv, Tingwen Liu, Fei Huang, Hongbo Xu, Yongbin Li
arXiv 2023. [Artigo][Github]
3 de agosto de 2023
Uma pesquisa sobre avaliação de grandes modelos de linguagem
Yupeng Chang, Xu Wang, Jindong Wang, Yuan Wu, Kaijie Zhu, Hao Chen, Linyi Yang, Xiaoyuan Yi, Cunxiang Wang, Yidong Wang, Wei Ye, Yue Zhang, Yi Chang, Philip S. Yu, Qiang Yang, Xing Xie
Arxiv 2023. [Artigo][Github]
6 de julho de 2023
DecodingTrust: uma avaliação abrangente de confiabilidade em modelos GPT
Boxin Wang, Weixin Chen, Hengzhi Pei, Chulin Xie, Mintong Kang, Chenhui Zhang, Chejian Xu, Zidi Xiong, Ritik Dutta, Rylan Schaeffer, Sang T. Truong, Simran Arora, Mantas Mazeika, Dan Hendrycks, Zinan Lin, Yu Cheng, Sanmi Koyejo, Dawn Song, Bo Li
Arxiv, 2023. [Artigo] [Github] [Site]
20 de junho de 2023
No ChatGPT nós confiamos? Medindo e caracterizando a confiabilidade do ChatGPT
Xinyue Shen, Zeyuan Chen, Michael Backes, Yang Zhang
arXiv, 2023. [Artigo]
18 de abril de 2023
Aproveitando o poder dos LLMs na prática: uma pesquisa sobre ChatGPT e muito mais
Jingfeng Yang, Hongye Jin, Ruixiang Tang, Xiaotian Han, Qizhang Feng, Haoming Jiang, Bing Yin, Xia Hu
arXiv 2023. [Artigo][Github]
27 de abril de 2023
Quão robusto é o GPT-3.5 em relação aos predecessores? Um estudo abrangente sobre tarefas de compreensão linguística
Xuanting Chen, Junjie Ye, Can Zu, Nuo Xu, Rui Zheng, Minlong Peng, Jie Zhou, Tao Gui, Qi Zhang, Xuanjing Huang
arXiv 2023. [Artigo][Github]
1º de março de 2023
Avaliação Holística de Modelos de Linguagem
Percy Liang, Rishi Bommasani, Tony Lee, Dimitris Tsipras, Dilara Soylu, Michihiro Yasunaga, Yian Zhang, Deepak Narayanan, Yuhuai Wu, Ananya Kumar, Benjamin Newman, Binhang Yuan, Bobby Yan, Ce Zhang, Christian Cosgrove, Christopher D. Manning, Christopher Ré, Diana Acosta-Navas, Drew A. Hudson, Eric Zelikman, Esin Durmus, Faisal Ladhak, Frieda Rong, Hongyu Ren, Huaxiu Yao, Jue Wang, Keshav Santhanam, Laurel Orr, Lucia Zheng, Mert Yuksekgonul, Mirac Suzgun, Nathan Kim, Neel Guha, Niladri Chatterji, Omar Khattab, Peter Henderson, Qian Huang, Ryan Chi, Cantou Michael Xie, Shibani Santurkar, Surya Ganguli, Tatsunori Hashimoto, Thomas Icard, Tianyi Zhang, Vishrav Chaudhary, William Wang, Xuechen Li, Yifan Mai, Yuhui Zhang, Yuta Koreeda
arXiv 2022. [Artigo] [Site] [Github] [Blog]
16 de novembro de 2022
Fazendo com que o GPT-3 seja confiável
Chenglei Si, Zhe Gan, Zhengyuan Yang, Shuohang Wang, Jianfeng Wang, Jordan Boyd-Graber, Lijuan Wang
ICLR 2023. [Artigo] [Github]
17 de outubro de 2022
Plex: Rumo à confiabilidade usando grandes extensões de modelo pré-treinadas
Dustin Tran, Jeremiah Liu, Michael W. Dusenberry, Du Phan, Mark Collier, Jie Ren, Kehang Han, Zi Wang, Zelda Mariet, Huiyi Hu, Neil Band, Tim GJ Rudner, Karan Singhal, Zachary Nado, Joost van Amersfoort, Andreas Kirsch, Rodolphe Jenatton, Nithum Thain, Honglin Yuan, Kelly Buchanan, Kevin Murphy, D. Sculley, Yarin Gal, Zoubin Ghahramani, Jasper Snoek, Balaji Lakshminarayanan
arXiv 2022. [Artigo]
15 de julho de 2022
Modelos de linguagem (principalmente) sabem o que sabem
Saurav Kadavath, Tom Conerly, Amanda Askell, Tom Henighan, Dawn Drain, Ethan Perez, Nicholas Schiefer, Zac Hatfield-Dodds, Nova DasSarma, Eli Tran-Johnson, Scott Johnston, Sheer El-Showk, Andy Jones, Nelson Elhage, Tristan Hume , Anna Chen, Yuntao Bai, Sam Bowman, Stanislav Fort, Deep Ganguli, Danny Hernandez, Josh Jacobson, Jackson Kernion, Shauna Kravec, Liane Lovitt, Kamal Ndousse, Catherine Olsson, Sam Ringer, Dario Amodei, Tom Brown, Jack Clark, Nicholas Joseph, Ben Mann, Sam McCandlish, Chris Olah, Jared Kaplan
arXiv 2022. [Artigo]
11 de julho de 2022
Modelos de linguagem aumentada: uma pesquisa
Grégoire Mialon, Roberto Dessì, Maria Lomeli, Christoforos Nalmpantis, Ram Pasunuru, Roberta Raileanu, Baptiste Rozière, Timo Schick, Jane Dwivedi-Yu, Asli Celikyilmaz, Edouard Grave, Yann LeCun, Thomas Scialom
arXiv 2023. [Artigo]
15 de fevereiro de 2023
Uma pesquisa de métricas de avaliação usadas para sistemas NLG
Ananya B. Sai, Akash Kumar Mohankumar, Mitesh M. Khapra
Pesquisa de Computação ACM, 2022. [Artigo]
18 de janeiro de 2022
NL-Augmenter: uma estrutura para aumento de linguagem natural sensível a tarefas
Kaustubh D. Dhole, et al.
ACL 2021. [Artigo][Github]
6 de dezembro de 2021
TextFlint: Kit de ferramentas unificado de avaliação de robustez multilíngue para processamento de linguagem natural
Tao Gui et al.
arXiv 2021. [Artigo][Github]
21 de março de 2021
Robustness Gym: Unificando o cenário de avaliação da PNL
Karan Goel, Nazneen Rajani, Jesse Vig, Samson Tan, Jason Wu, Stephan Zheng, Caiming Xiong, Mohit Bansal, Christopher Ré
ACL 2021. [Artigo] [Github]
13 de janeiro de 2021
Além da precisão: testes comportamentais de modelos de PNL com CheckList
Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, Sameer Singh
ACL 2020. [Artigo][Github]
8 de maio de 2020
BLoB: Adaptação bayesiana de baixo nível por retropropagação para grandes modelos de linguagem
Yibin Wang, Haizhou Shi, Ligong Han, Dimitris Metaxas, Hao Wang
arXiv 2024. [Artigo]
18 de junho de 2024
Estimativa e quantificação de incerteza para LLMs: uma abordagem simples e supervisionada
Linyu Liu, Yu Pan, Xiaocheng Li, Guanting Chen
arXiv 2024. [Artigo]
24 de abril de 2024
Mudando a atenção para a relevância: em direção à estimativa da incerteza de grandes modelos de linguagem
Jinhao Duan, Hao Cheng, Shiqi Wang, Alex Zavalny, Chenan Wang, Renjing Xu, Bhavya Kailkhura, Kaidi Xu
arXiv 2023. [Artigo]
9 de outubro de 2023
Olhe antes de saltar: um estudo exploratório de medição de incerteza para grandes modelos de linguagem
Yuheng Huang, Jiayang Song, Zhijie Wang, Shengming Zhao, Huaming Chen, Felix Juefei-Xu, Lei Ma
arXiv 2023. [Artigo]
16 de julho de 2023
Quantificando a incerteza em explicações de linguagem natural de grandes modelos de linguagem
Sree Harsha Tanneru, Chirag Agarwal, Himabindu Lakkaraju
arXiv 2023. [Artigo]
6 de novembro de 2023
Geração Autoregressiva Conforme: Pesquisa de Feixe com Garantias de Cobertura
Nicolas Deutschmann, Marvin Alberts, María Rodríguez Martínez
arXiv 2023. [Artigo]
7 de setembro de 2023
Quantificando a incerteza nas respostas de qualquer modelo de linguagem e aumentando sua confiabilidade
Jiuhai Chen, Jonas Mueller
arXiv 2023. [Artigo]
30 de agosto de 2023
Incerteza na geração de linguagem natural: da teoria às aplicações
Joris Baan, Nico Daheim, Evgenia Ilia, Dennis Ulmer, Haau-Sing Li, Raquel Fernández, Barbara Plank, Rico Sennrich, Chrysoula Zerva, Wilker Aziz
arXiv 2023. [Artigo]
28 de julho de 2023
Gerando com Confiança: Quantificação de Incerteza para Modelos de Linguagem Grande Caixa Preta
Zhen Lin, Shubhendu Trivedi, Jimeng Sun
arXiv 2023. [Artigo] [Github]
30 de maio de 2023
Incerteza humana em sistemas de IA baseados em conceitos
Katherine M. Collins, Matthew Barker, Mateo Espinosa Zarlenga, Naveen Raman, Umang Bhatt, Mateja Jamnik, Ilia Sucholutsky, Adrian Weller, Krishnamurthy Dvijotham
arXiv 2023. [Artigo]
22 de março de 2023
Navegando na área cinzenta: expressões de excesso de confiança e incerteza em modelos de linguagem
Kaitlyn Zhou, Dan Jurafsky, Tatsunori Hashimoto
arXiv 2023. [Artigo]
25 de fevereiro de 2023
DEUP: Predição direta de incerteza epistêmica
Salem Lahlou, Moksh Jain, Hadi Nekoei, Victor Ion Butoi, Paul Bertin, Jarrid Rector-Brooks, Maksym Korablyov, Yoshua Bengio
TMLR 2023. [Artigo]
3 de fevereiro de 2023
Na quantificação da incerteza composicional para análise de gráfico Seq2seq
Zi Lin, Du Phan, Panupong Pasupat, Jeremiah Zhe Liu, Jingbo Shang
ICLR 2023. [Artigo]
1º de fevereiro de 2023
Inferência Neural-Simbólica para Análise Autoregressiva Robusta de Gráficos via Quantificação de Incerteza Composicional
Zi Lin, Jeremiah Liu, Jingbo Shang
EMNLP 2022. [Artigo]
16 de janeiro de 2023
Modelos de ensino para expressar sua incerteza em palavras
Stephanie Lin, Jacob Hilton, Owain Evans
TMLR 2022. [Artigo] [Github] [TMLR] [Slide]
28 de maio de 2022
Incerteza Semântica: Invariâncias Linguísticas para Estimativa de Incerteza na Geração de Linguagem Natural
Lorenz Kuhn, Yarin Gal, Sebastian Farquhar
ICLR 2023. [Artigo]
19 de fevereiro de 2022
Seleção de dados de inicialização a frio para ajuste fino do modelo de linguagem de poucos disparos: uma abordagem de propagação de incerteza baseada em prompts
Yue Yu, Rongzhi Zhang, Ran Xu, Jieyu Zhang, Jiaming Shen, Chao Zhang
arXiv 2022. [Artigo][Github]
15 de setembro de 2022
Ajuste fino de modelos de linguagem por meio de redes neurais epistêmicas
Ian Osband, Seyed Mohammad Asghari, Benjamin Van Roy, Nat McAleese, John Aslanides, Geoffrey Irving
arXiv 2022. [Artigo][Github]
3 de novembro de 2022
Quantificação da incerteza com modelos de linguagem pré-treinados: uma análise empírica em larga escala
Yuxin Xiao, Paul Pu Liang, Umang Bhatt, Willie Neiswanger, Ruslan Salakhutdinov, Louis-Philippe Morency
EMNLP 2022 (Resultados). [Artigo][Github]
10 de outubro de 2022
Estimativa de incerteza para modelos de recompensa linguística
Adam Gleave, Geoffrey Irving
arXiv 2022. [Artigo]
14 de março de 2022
Estimativa de incerteza e redução de modelos pré-treinados para regressão de texto
Yuxia Wang, Daniel Beck, Timothy Baldwin, Karin Verspoor
TACL 2022. [Artigo]
junho de 2022
Estimativa de incerteza na previsão estruturada autoregressiva
Andrey Malinin, Mark Gales
ICLR 2021. [Artigo]
18 de fevereiro de 2020
Estimativa de qualidade não supervisionada para tradução automática neural
Marina Fomicheva, Shuo Sun, Lisa Yankovskaya, Frédéric Blain, Francisco Guzmán, Mark Fishel, Nikolaos Aletras, Vishrav Chaudhary, Lucia Specia
TACL 2020. [Artigo][Conjunto de dados]
21 de maio de 2020
Analisando a incerteza na tradução automática neural
Myle Ott, Michael Auli, David Grangier, Marc’Aurelio Ranzato
ICML 2018. [Artigo]
2018
Calibração em lote: repensando a calibração para aprendizado em contexto e engenharia imediata
Han Zhou, Xingchen Wan, Lev Proleev, Diana Mincu, Jilin Chen, Katherine Heller, Subhrajit Roy
ICLR 2024. [Artigo] 24 de janeiro de 2024
Os grandes modelos de linguagem sabem o que não sabem?
Zhangyue Yin, Qiushi Sun, Qipeng Guo, Jiawen Wu, Xipeng Qiu, Xuanjing Huang
arXiv 2023. [Artigo] 29 de maio de 2023
Basta pedir calibração: estratégias para obter pontuações de confiança calibradas a partir de modelos de linguagem ajustados com feedback humano
Katherine Tian, Eric Mitchell, Allan Zhou, Archit Sharma, Rafael Rafailov, Huaxiu Yao, Chelsea Finn, Christopher D. Manning
arXiv 2023. [Artigo]
24 de maio de 2023
Rumo à mitigação confiável da desinformação: generalização, incerteza e GPT-4
Kellin Pelrine, Meilina Reksoprodjo, Caleb Gupta, Joel Christoph, Reihaneh Rabbany
arXiv 2023. [Artigo]
24 de maio de 2023
Interpretação Calibrada: Estimativa de Confiança na Análise Semântica
Elias Stengel-Eskin, Benjamin Van Durme
arXiv 2022. [Artigo] [Github]
14 de novembro de 2022.
Calibrar a probabilidade de sequência melhora a geração de linguagem condicional
Yao Zhao, Misha Khalman, Rishabh Joshi, Shashi Narayan, Mohammad Saleh, Peter J. Liu
ICLR 2023. [Artigo]
30 de setembro de 2022
Classificação Seletiva Calibrada
Adam Fisch, Tommi Jaakkola, Regina Barzilay
TMLR 2022. [Artigo]
25 de agosto de 2022
Reduzindo o excesso de confiança dos agentes conversacionais através da calibração linguística
Sabrina J. Mielke, Arthur Szlam, Emily Dinan, Y-Lan Boureau
NAACL 2022. [Artigo]
22 de junho de 2022
Reexaminando a calibração: o caso da resposta a perguntas
Chenglei Si, Chen Zhao, Sewon Min, Jordan Boyd-Graber
Resultados do EMNLP 2022. [Papel]
25 de maio de 2022
Rumo à análise semântica de gráfico neural-simbólico colaborativo via incerteza
Zi Lin, Jeremiah Liu, Jingbo Shang
Dedos do ACL 2022. [Artigo]
22 de maio de 2022
Avaliação de tradução automática com reconhecimento de incerteza
Taisiya Glushkova, Chrysoula Zerva, Ricardo Rei, André FT Martins
EMNLP 2021. [Artigo]
13 de setembro de 2021
Calibrar antes de usar: melhorando o desempenho de modelos de linguagem em poucas tentativas
Tony Z. Zhao, Eric Wallace, Shi Feng, Dan Klein, Sameer Singh
ICML 2021. [Artigo][Github
19 de fevereiro de 2021
Como podemos saber quando os modelos de linguagem sabem? Sobre a calibração de modelos de linguagem para resposta a perguntas
Zhengbao Jiang, Jun Araki, Haibo Ding, Graham Neubig
TACL 2021. [Artigo][Github]
2 de dezembro de 2020
Calibração de Transformadores Pré-treinados
Shrey Desai, Greg Durrett
EMNLP 2020. [Artigo][Github]
17 de maio de 2020
Árvore de esclarecimentos: respondendo a perguntas ambíguas com modelos de linguagem grande com recuperação aumentada
Gangwoo Kim, Sungdong Kim, Byeongguk Jeon, Joonsuk Park, Jaewoo Kang
EMNLP 2023. [Artigo][Github]
23 de outubro de 2023
Respondendo seletivamente a perguntas ambíguas
Jeremy R. Cole, Michael JQ Zhang, Daniel Gillick, Julian Martin Eisenschlos, Bhuwan Dhingra, Jacob Eisenstein arXiv 2023. [Artigo]
24 de maio de 2023
Tememos que os modelos de linguagem não estejam modelando a ambigüidade Alisa Liu, Zhaofeng Wu, Julian Michael, Alane Suhr, Peter West, Alexander Koller, Swabha Swayamdipta, Noah A. Smith, Yejin Choi
arXiv 2023. [Artigo][Github]
24 de abril de 2023
Ambiguidade de Tarefas em Humanos e Modelos de Linguagem
Alex Tamkin, Kunal Handa, Avash Shrestha, Noah Goodman
ICLR 2023. [Artigo][Github]
20 de dezembro de 2022
CLAM: Esclarecimento seletivo para questões ambíguas com modelos de linguagem generativa
Lorenz Kuhn, Yarin Gal, Sebastian Farquhar
arXiv 2022. [Artigo]
15 de dezembro de 2022
Como abordar consultas ambíguas na pesquisa conversacional: uma pesquisa de técnicas, abordagens, ferramentas e desafios
Kimiya Keyvan, Jimmy Xiangji Huang
Pesquisa de Computação ACM, 2022. [Artigo]
7 de dezembro de 2022
Assistência com grandes modelos de linguagem
Dmitrii Krasheninnikov, Egor Krasheninnikov, David Krueger
Workshop NeurIPS MLSW 2022. [Artigo]
5 de dezembro de 2022
Por que a galinha atravessou a rua? Reformulando e analisando questões ambíguas em VQA
Elias Stengel-Eskin, Jimena Guallar-Blasco, Yi Zhou, Benjamin Van Durme
arXiv 2022. [Artigo][Github]
14 de novembro de 2022
Abg-CoQA: Esclarecendo a ambigüidade na resposta a perguntas conversacionais
Meiqi Guo, Mingda Zhang, Siva Reddy, Malihe Alikhani
AKBC 2021. [Artigo]
22 de junho de 2021
A lacuna entre confiança e competência em grandes modelos de linguagem: um estudo cognitivo
Aniket Kumar Singh, Suman Devkota, Bishal Lamichhane, Uttam Dhakal, Chandra Dhakal
arXiv 2023. [Artigo]
28 de setembro de 2023
Força em Números: Estimando a Confiança de Modelos de Grandes Linguagens por Acordo Imediato
Gwenyth Portillo Wightman, Alexandra Delucia, Mark Dredze
Workshop ACL TrustNLP 2023. [Artigo]
1º de julho de 2023
Quais são as diferentes abordagens para detectar conteúdo gerado por LLMs como ChatGPT? E como eles funcionam e diferem?
Sebastian Raschka
[Link] [GPTZero]
1º de fevereiro de 2023
DetectGPT: Detecção de texto gerado por máquina Zero-Shot usando curvatura de probabilidade
Eric Mitchell, Yoonho Lee, Alexander Khazatsky, Christopher D. Manning, Chelsea Finn
arXiv 2023. [Artigo][Site]
26 de janeiro de 2023
Modelagem de linguagem adaptativa confiável
Tal Schuster, Adam Fisch, Jai Gupta, Mostafa Dehghani, Dara Bahri, Vinh Q. Tran, Yi Tay, Donald Metzler
NeurIPS 2022. [Artigo] 25 de outubro de 2022
Controle de risco conforme
Anastasios N Angelopoulos, Stephen Bates, Adam Fisch, Lihua Lei, Tal Schuster
arXiv 2022. [Artigo][Github]
4 de agosto de 2022
Uma Pesquisa de Aprendizagem Ativa para Processamento de Linguagem Natural
Zhisong Zhang, Emma Strubell, Eduard Hovy
EMNLP 2022. [Artigo][Github]
18 de outubro de 2022
Solicitação ativa com cadeia de pensamento para modelos de linguagem grande
Shizhe Diao, Pengcheng Wang, Yong Lin, Tong Zhang
arXiv 2023. [Artigo][Github]
23 de fevereiro de 2023
Rotulagem ativa interativa com poucos recursos para modelos de linguagem de ajuste fino
Seiji Maekawa, Dan Zhang, Hannah Kim, Sajjadur Rahman, Estevam Hruschka
Resultados do EMNLP 2022. [Artigo]
7 de dezembro de 2022
Você pode rotular menos usando dados fora do domínio? Aprendizagem ativa e por transferência com instruções rápidas
Rafal Kocielnik, Sara Kangaslahti, Shrimai Prabhumoye, Meena Hari, R. Michael Alvarez, Anima Anandkumar
Workshop NeurIPS 2022. [Artigo]
21 de novembro de 2022
AfroLM: Um modelo de linguagem pré-treinada multilíngue baseado em aprendizagem autoativa para 23 línguas africanas
Bonaventure FP Dossou, Atnafu Lambebo Tonja, Oreen Yousuf, Salomey Osei, Abigail Oppong, Iyanuoluwa Shode, Oluwabusayo Olufunke Awoyomi, Chris Chinenye Emezue
EMNLP 2022. [Artigo][Github]
7 de novembro de 2022
A aprendizagem ativa ajuda modelos pré-treinados a aprender a tarefa pretendida
Alex Tamkin, Dat Pham Nguyen, Salil Deshpande, Jesse Mu, Noah Goodman
NeurIPS 2022. [Artigo][Github]
31 de outubro de 2022
A anotação seletiva torna os modelos de linguagem melhores para alunos de poucas tentativas
Hongjin Su, Jungo Kasai, Chen Henry Wu, Weijia Shi, Tianlu Wang, Jiayi Xin, Rui Zhang, Mari Ostendorf, Luke Zettlemoyer, Noah A. Smith, Tao Yu
ICLR 2023. [Artigo][Github]
5 de setembro de 2022
Aprendizagem ativa multitarefa para modelos pré-treinados baseados em transformadores
Guy Rotman, Roi Reichart
TACL 2022. [Artigo] [Github]
10 de agosto de 2022
AcTune: autotreinamento ativo baseado em incerteza para ajuste fino ativo de modelos de linguagem pré-treinados
Yue Yu, Lingkai Kong, Jieyu Zhang, Rongzhi Zhang, Chao Zhang
NAACL-HLT2022. [Artigo] [Github]
10 de julho de 2022
Rumo à aprendizagem ativa profunda computacionalmente viável
Akim Tsvigun, Artem Shelmanov, Gleb Kuzmin, Leonid Sanochkin, Daniil Larionov, Gleb Gusev, Manvel Avetisian, Leonid Zhukov
NAACL 2022. [Artigo] [Github]
7 de maio de 2022
FAMIE: Uma estrutura de aprendizagem rápida e ativa para extração de informações multilíngues
Minh Van Nguyen, Nghia Trung Ngo, Bonan Min, Thien Huu Nguyen
NAACL 2022. [Artigo] [Github]
16 de fevereiro de 2022
Sobre a importância da adaptação eficaz de modelos de linguagem pré-treinados para aprendizagem ativa
Katerina Margatina, Loïc Barrault, Nikolaos Aletras
ACL 2022. [Artigo]
2 de março de 2022
Limitações da aprendizagem ativa com modelos de linguagem Deep Transformer
Mike D’Arcy, Doug Downey
Arxiv 2022. [Artigo]
28 de janeiro de 2022
Aprendizagem ativa através da aquisição de exemplos contrastivos
Katerina Margatina, Giorgos Vernikos, Loïc Barrault, Nikolaos Aletras
EMNLP 2021. [Artigo][Github]
8 de setembro de 2021
Revisitando estratégias de consulta baseadas em incerteza para aprendizagem ativa com transformadores
Christopher Schröder, Andreas Niekler, Martin Potthast
Resultados do ACL 2022. [Artigo][Github]
12 de julho de 2021
Aprendizagem ativa para marcação de sequência com modelos pré-treinados profundos e estimativas de incerteza bayesiana
Artem Shelmanov, Dmitri Puzyrev, Lyubov Kupriyanova, Denis Belyakov, Daniil Larionov, Nikita Khromov, Olga Kozlova, Ekaterina Artemova, Dmitry V. Dylov, Alexander Panchenko
EACL 2021. [Artigo]
18 de fevereiro de 2021
Ajustando o BERT para compreensão da linguagem natural com poucos recursos por meio da aprendizagem ativa
Daniel Grießhaber, Johannes Maucher, Ngoc Thang Vu
COLING 2020. [Artigo]
4 de dezembro de 2020
incrível detecção de alucinações
HalllusionBench: um conjunto de diagnóstico avançado para alucinações de linguagem emaranhada e ilusão visual em grandes modelos de linguagem visual
Tianrui Guan*, Fuxiao Liu*, Xiyang Wu, Ruiqi Xian, Zongxia Li, Xiaoyu Liu, Xijun Wang, Lichang Chen, Furong Huang, Yaser Yacoob, Dinesh Manocha, Tianyi Zhou
CVPR 2024. [Artigo][Github]
18 de março de 2024
SACO
Jiaxin Zhang, Zhuohang Li, Kamalika Das, Bradley A. Malin, Sricharan Kumar
EMNLP 2023. [Artigo][Github]
3 de novembro de 2023
Tabela de classificação de alucinações
Véctara
[Link]
2 de novembro de 2023
Além da factualidade: uma avaliação abrangente de grandes modelos de linguagem como geradores de conhecimento
Liang Chen, Yang Deng, Yatao Bian, Zeyu Qin, Bingzhe Wu, Tat-Seng Chua, Kam-Fai Wong
EMNLP 2023. [Artigo][Github]
12 de outubro de 2023
Cadeia de verificação reduz alucinações em grandes modelos de linguagem
Shehzaad Dhuliawala, Mojtaba Komeili, Jing Xu, Roberta Raileanu, Xian Li, Asli Celikyilmaz, Jason Weston
arXiv 2023. [Artigo]
20 de setembro de 2023
Os modelos de linguagem sabem quando estão alucinando referências?
Ayush Agrawal, Lester Mackey, Adam Tauman Kalai
arXiv 2023. [Artigo]
29 de maio de 2023.
Alucinações autocontraditórias de grandes modelos de linguagem: avaliação, detecção e mitigação
Niels Mündler, Jingxuan He, Slobodan Jenko, Martin Vechev
arXiv 2023. [Artigo]
25 de maio de 2023
Por que o ChatGPT não fornece respostas verdadeiras?
Shen Zheng, Jie Huang, Kevin Chen-Chuan Chang
arXiv 2023. [Artigo]
24 de maio de 2023
Como as alucinações do modelo de linguagem podem crescer como uma bola de neve
Muru Zhang, Ofir Press, William Merrill, Alisa Liu, Noah A. Smith
arXiv 2023. [Artigo]
22 de maio de 2023
LM vs LM: detectando erros factuais por meio de exame cruzado
Roi Cohen, May Hamri, Mor Geva, Amir Globerson
arXiv 2023. [Artigo]
22 de maio de 2023
HaluEval: uma referência de avaliação de alucinações em grande escala para grandes modelos de linguagem
Junyi Li, Xiaoxue Cheng, Wayne Xin Zhao, Jian-Yun Nie, Ji-Rong Wen
arXiv 2023. [Artigo] 19 de maio de 2023
SelfCheckGPT: detecção de alucinações de caixa preta com recurso zero para modelos generativos de grandes linguagens
Potsawee Manakul, Adian Liusie, Mark JF Gales
arXiv 2023. [Artigo] [Github]
8 de março de 2023
Verifique seus fatos e tente novamente: melhorando modelos de linguagem extensa com conhecimento externo e feedback automatizado
Baolin Peng, Michel Galley, Pengcheng He, Hao Cheng, Yujia Xie, Yu Hu, Qiuyuan Huang, Lars Liden, Zhou Yu, Weizhu Chen, Jianfeng Gao
arXiv 2023. [Artigo]
23 de fevereiro de 2023
RHO (ρ): Reduzindo alucinações em diálogos de domínio aberto com base no conhecimento
Ziwei Ji, Zihan Liu, Nayeon Lee, Tiezheng Yu, Bryan Wilie, Min Zeng, Pascale Fung
arXiv 2022. [Artigo]
3 de dezembro de 2022
FaithDial: uma referência fiel para o diálogo em busca de informações
Nouha Dziri, Ehsan Kamalloo, Sivan Milton, Osmar Zaiane, Mo Yu, Edoardo M. Ponti, Siva Reddy
TACL 2022. [Artigo]
22 de abril de 2022
Pesquisa de alucinações na geração de linguagem natural
Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Yejin Bang, Wenliang Dai, Andrea Madotto, Pascale Fung
arXiv 2022. [Artigo]
8 de fevereiro de 2022
TruthX: Aliviando Alucinações Editando Grandes Modelos de Linguagem no Espaço Verdadeiro Shaolei Zhang, Tian Yu, Yang Feng
arXiv 2024. [Artigo] [Github]
27 de fevereiro de 2024
Intervenção no tempo de inferência: extraindo respostas verdadeiras de um modelo de linguagem Kenneth Li, Oam Patel, Fernanda Viégas, Hanspeter Pfister, Martin Wattenberg
arXiv 2023. [Artigo] [Github]
6 de junho de 2023
O estado interno de um LLM sabe quando está mentindo
Amos Azaria, Tom Mitchell
arXiv 2023. [Artigo]
26 de abril de 2023
TruthfulQA: Medindo como os modelos imitam as falsidades humanas
Stephanie Lin, Jacob Hilton, Owain Evans
ACL 2022. [Artigo] [Github] [Blog]
8 de setembro de 2021
IA verdadeira: Desenvolvendo e governando uma IA que não mente
Owain Evans, Owen Cotton-Barratt, Lukas Finnveden, Adam Bales, Avital Balwit, Peter Wills, Luca Righetti, William Saunders
arXiv 2021. [Artigo] [Blog]
13 de outubro de 2021
Medindo a confiabilidade de grandes modelos de linguagem por meio da consistência semântica
Harsh Raj, Domenic Rosati, Subhabrata Majumdar
Workshop de segurança NeurIPS 2022 ML. [Papel]
10 de novembro de 2022
REFINER: Feedback de raciocínio sobre representações intermediárias
Debjit Paul, Mete Ismayilzada, Maxime Peyrard, Beatriz Borges, Antoine Bosselut, Robert West, Boi Faltings
arXiv 2023. [Artigo]
4 de abril de 2023
OpenICL: uma estrutura de código aberto para aprendizagem em contexto
Zhenyu Wu, YaoXiang Wang, Jiacheng Ye, Jiangtao Feng, Jingjing Xu, Yu Qiao, Zhiyong Wu
arXiv 2023. [Artigo] [Github]
6 de março de 2023
Compreensão confiável de linguagem natural com grandes modelos de linguagem e programação de conjunto de respostas
Abhiramon Rajasekharan, Yankai Zeng, Parth Padalkar, Gopal Gupta
arXiv 2023. [Artigo]
7 de fevereiro de 2023
A autoconsistência melhora o raciocínio da cadeia de pensamento em modelos de linguagem
Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou
ICLR 2023. [Artigo]
21 de março de 2022
A solicitação de cadeia de pensamento provoca raciocínio em grandes modelos de linguagem.
Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed Chi, Quoc Le, Denny Zhou
arXiv 2022. [Artigo]
28 de janeiro de 2022
STAR: Raciocinador Autodidata Iniciando Raciocínio com Raciocínio.
Eric Zelikman, Yuhuai Wu, Noah D. Goodman
NeurIPS 2022. [Artigo][Github]
28 de março de 2022
A falta de confiabilidade das explicações em solicitações rápidas para raciocínio textual
Xi Ye, Greg Durrett
NeurIPS 2022. [Artigo] [Github]
6 de maio de 2022
Conjuntos Aumentados por Racional em Modelos de Linguagem
Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Denny Zhou
arXiv 2022. [Artigo]
2 de julho de 2022
ReAct: sinergizando raciocínio e atuação em modelos de linguagem
Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao
ICLR 2023. [Artigo][Github] [Projeto]
6 de outubro de 2022
Pensando bem, não vamos pensar passo a passo! Viés e toxicidade no raciocínio zero-shot
Omar Shaikh, Hongxin Zhang, William Held, Michael Bernstein, Diyi Yang
arXiv 2022. [Artigo]
15 de dezembro de 2022
Sobre o avanço para tornar os modelos de linguagem melhores raciocinadores
Yifei Li, Zeqi Lin, Shizhuo Zhang, Qiang Fu, Bei Chen, Jian-Guang Lou, Weizhu Chen
arXiv 2022. [Artigo][Github]
6 de junho de 2022
Pergunte-me qualquer coisa: uma estratégia simples para gerar modelos de linguagem
Simran Arora, Avanika Narayan, Mayee F. Chen, Laurel Orr, Neel Guha, Kush Bhatia, Ines Chami, Frederic Sala, Christopher Ré
arXiv 2022. [Artigo][Github]
5 de outubro de 2022
MathPrompter: raciocínio matemático usando grandes modelos de linguagem
Shima Imani, Liang Du, Harsh Shrivastava
arXiv 2023. [Artigo]
4 de março de 2023
Solicitação baseada em complexidade para raciocínio em várias etapas
Yao Fu, Hao Peng, Ashish Sabharwal, Peter Clark, Tushar Khot
arXiv 2022. [Artigo][Github]
3 de outubro de 2022
Medindo e estreitando a lacuna de composicionalidade em modelos de linguagem
Ofir Press, Muru Zhang, Sewon Min, Ludwig Schmidt, Noah A. Smith, Mike Lewis
arXiv 2022. [Artigo][Github] 7 de outubro de 2022
Intercalando recuperação com raciocínio de cadeia de pensamento para questões de várias etapas com uso intensivo de conhecimento
Harsh Trivedi, Niranjan Balasubramanian, Tushar Khot, Ashish Sabharwal
arXiv 2023. [Artigo][Github]
20 de dezembro de 2022
Grandes modelos de linguagem como otimizadores
Chengrun Yang, Xuezhi Wang, Yifeng Lu, Hanxiao Liu, Quoc V. Le, Denny Zhou, Xinyun Chen
arXiv 2023. [Artigo]
7 de setembro de 2023
InstructZero: Otimização eficiente de instruções para modelos de linguagem grande de caixa preta
Lichang Chen, Jiuhai Chen, Tom Goldstein, Heng Huang, Tianyi Zhou
arXiv 2023. [Artigo] [Github]
5 de junho de 2023
Promptboosting: classificação de texto em caixa preta com dez passes para frente
Bairu Hou, Joe O'Connor, Jacob Andreas, Shiyu Chang, Yang Zhang
ICML 2023. [Artigo][Github]
23 de janeiro de 2023
GrIPS: pesquisa de instruções baseada em edição e sem gradiente para gerar modelos de linguagem grandes
Archiki Prasad, Peter Hase, Xiang Zhou, Mohit Bansal
EACL 2023. [Artigo][Github]
14 de março de 2022
RLPrompt: Otimizando prompts de texto discreto com aprendizado por reforço
Mingkai Deng, Jianyu Wang, Cheng-Ping Hsieh, Yihan Wang, Han Guo, Tianmin Shu, Meng Song, Eric P. Xing, Zhiting Hu
EMNLP 2022. [Artigo][Github]
25 de maio de 2022
Aprendizagem imediata de caixa preta para modelos de linguagem pré-treinados
Shizhe Diao, Zhichao Huang, Ruijia Xu, Xuechun Li, Yong Lin, Xiao Zhou, Tong Zhang
TMLR 2023. [Artigo][Github]
22 de janeiro de 2022
Ajuste de caixa preta para modelo de linguagem como serviço
Tianxiang Sun, Yunfan Shao, Hong Qian, Xuanjing Huang, Xipeng Qiu
ICML 2022. [Artigo][Github]
10 de janeiro de 2022
BBTv2: rumo a um futuro livre de gradientes com grandes modelos de linguagem
Tianxiang Sun, Zhengfu He, Hong Qian, Yunhua Zhou, Xuanjing Huang, Xipeng Qiu EMNLP 2022. [Artigo] [Github]
7 de dezembro de 2022
Solicitação automática de cadeia de pensamento em modelos de linguagem grande
Zhuosheng Zhang, Aston Zhang, Mu Li, Alex Smola
ICLR 2023. [Artigo][Github]
7 de outubro de 2022
Aumento e seleção automática de prompts com cadeia de pensamento a partir de dados rotulados
KaShun Shum, Shizhe Diao, Tong Zhang
arXiv 2023. [Artigo][Github]
24 de fevereiro de 2023
Grandes modelos de linguagem são engenheiros de alerta de nível humano
Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han, Keiran Paster, Silviu Pitis, Harris Chan, Jimmy Ba
ICLR 2023. [Artigo] [Github]
3 de novembro de 2022
Prompts fantasticamente ordenados e onde encontrá-los: superando a sensibilidade do pedido de poucos disparos
Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, Pontus Stenetorp
ACL 2022. [Artigo]
Seleção ativa de exemplos para aprendizagem em contexto
Yiming Zhang, Shi Feng, Chenhao Tan
EMNLP 2022. [Artigo][Github]
8 de novembro de 2022
A anotação seletiva torna os modelos de linguagem melhores para alunos de poucas tentativas
Hongjin Su, Jungo Kasai, Chen Henry Wu, Weijia Shi, Tianlu Wang, Jiayi Xin, Rui Zhang, Mari Ostendorf, Luke Zettlemoyer, Noah A. Smith, Tao Yu
ICLR 2023. [Artigo][Github]
5 de setembro de 2022
Aprendendo a recuperar prompts para aprendizagem no contexto
Ohad Rubin, Jonathan Herzig, Jonathan Berant
NAACL-HLT 2022. [Artigo][Github]
16 de dezembro de 2021
LaMini-LM: um rebanho diversificado de modelos destilados a partir de instruções em grande escala
Minghao Wu, Abdul Waheed, Chiyu Zhang, Muhammad Abdul-Mageed, Alham Fikri Aji
arXiv 2023. [Artigo][Github]
27 de abril de 2023
Auto-refinamento: refinamento iterativo com auto-feedback
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Sean Welleck, Bodhisattwa Prasad Majumder, Shashank Gupta, Amir Yazdanbakhsh, Peter Clark
arXiv 2023. [Artigo][Github] [Site]
30 de março de 2023
Prompt é tudo que você precisa? Não. Uma visão abrangente e mais ampla da aprendizagem instrucional
Renze Lou, Kai Zhang, Wenpeng Yin
arXiv 2023. [Artigo][Github]
18 de março de 2023
Autoinstrução: Alinhando modelo de linguagem com instruções autogeradas
Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A. Smith, Daniel Khashabi, Hannaneh Hajishirzi
arXiv 2022. [Artigo] [Github]
20 de dezembro de 2022
IA Constitucional: Inocuidade do Feedback da IA
Yuntao Bai, et al (Antrópico)
arXiv 2022. [Artigo]
15 de dezembro de 2022
Descobrindo comportamentos de modelos de linguagem com avaliações escritas por modelos
Ethan Perez et al.
arXiv 2022. [Artigo]
19 de dezembro de 2022
Aprendizagem de instruções em contexto
Seonghyeon Ye, Hyeonbin Hwang, Sohee Yang, Hyeongu Yun, Yireun Kim, Minjoon Seo
arXiv 2023. [Artigo][Github]
28 de fevereiro de 2023
Modelos de linguagem aprimorados pela Internet por meio de solicitações rápidas para respostas a perguntas de domínio aberto
Angeliki Lazaridou, Elena Gribovskaya, Wojciech Stokowiec, Nikolai Grigorev
arXiv 2023. [Artigo]
10 de março de 2023
Programa de estímulo de pensamentos: desembaraçando a computação do raciocínio para tarefas de raciocínio numérico
Wenhu Chen, Xueguang Ma, Xinyi Wang, William W. Cohen
arXiv 2022. [Artigo][Github]
22 de novembro de 2022
PAL: Modelos de Linguagem Auxiliados por Programa
Luyu Gao, Aman Madaan, Shuyan Zhou, Uri Alon, Pengfei Liu, Yiming Yang, Jamie Callan, Graham Neubig
arXiv 2022. [Artigo] [Github] [Projeto]
18 de novembro de 2022
TALM: Modelos de linguagem aumentada de ferramentas
Aaron Parisi, Yao Zhao, Noah Fiedel
arXiv 2022. [Artigo]
24 de maio de 2022
Toolformer: modelos de linguagem podem aprender a usar a ferramenta
Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, Thomas Scialom
arXiv 2023. [Artigo]
9 de fevereiro de 2023
Destilação passo a passo! Superando modelos de linguagem maiores com menos dados de treinamento e tamanhos de modelo menores
Cheng-Yu Hsieh, Chun-Liang Li, Chih-Kuan Yeh, Hootan Nakhost, Yasuhisa Fujii, Alexander Ratner, Ranjay Krishna, Chen-Yu Lee, Tomas Pfister
arXiv 2023. [Artigo]
3 de maio de 2023
FreeLM: modelo de linguagem livre de ajuste fino
Xiang Li1, Xin Jiang, Xuying Meng, Aixin Sun, Yequan Wang
arXiv 2023. [Artigo]
2 de maio de 2023
Curadoria de dados automatizada para modelo de linguagem robusta e ajuste fino
Jiuhai Chen, Jonas Mueller
Arxiv 2024. [Papel]
19 de março de 2024
Modelagem de Idiomas Invariantes Maxime Peyard, Sarvjeet Singh Ghotra, Martin Josifoski, Vidhan Agarwal, Barun Patra, Dean Carignan, Emre Kiciman, Robert West
EMNLP 2022. [Paper] [Github]
16 de outubro de 2021
Rumo à geração de diálogo personalizada robusta através da regularização de representação insensível à ordem
Liang Chen, Hongru Wang, Yang Deng, Wai-Chung Kwan, Kam-Fai Wong
Achados da ACL 2023. [Paper] [Github]
22 de maio de 2023
Explorando mudanças de distribuição em grandes modelos de linguagem para análise de código
Shushan Arakelyan, Rocktim Jyoti Das, Yi Mao, Xiang Ren
ARXIV 2023. [Papel]
16 de março de 2023
Detecção fora da distribuição e geração seletiva para modelos de linguagem condicional
Jie Ren, Jiaming Luo, Yao Zhao, Kundan Krishna, Mohammad Saleh, Balaji Lakshminarayanan, Peter J. Liu
ICLR 2023. [Papel]
30 de setembro de 2022
Sobre a adaptação e generalização do domínio
Xu Guo, Han Yu
ARXIV 2022. [Papel]
6 de novembro de 2022
Ataques adversários ao LLMS
Lilian Weng [blog]
25 de outubro de 2023
PromptBench: para avaliar a robustez de grandes modelos de linguagem em prompts adversários
Kaijie Zhu, Jindong Wang, Jiaheng Zhou, Zichen Wang, Hao Chen, Yidong Wang, Linyi Yang, Wei Ye, Neil Zhenqiang Gong, Yue Zhang, Xing Xie
Arxiv 2023. [Paper] [Github]
7 de junho de 20223
Sobre a robustez do chatgpt: uma perspectiva adversária e fora da distribuição
Jindong Wang, Xixu Hu, Wenxin Hou, Hao Chen, Runkai Zheng, Yidong Wang, Linyi Yang, Haojun Huang, Wei Ye, Xiubo Geng, Binxin Jiao, Yue Zhang, Xing Xie
Arxiv 2023. [Paper] [Github]
22 de fevereiro de 2023
Teste de confiabilidade para sistemas de processamento de linguagem natural
Samson Tan, Shafiq Joty, Kathy Baxter, Araz Taeihagh, Gregory A. Bennett, Min-Yen Kan
ACL-IJCNLP 2021. [Papel]
06 de maio de 2021
Resposta de perguntas atribuídas: Avaliação e modelagem para modelos de linguagem grandes atribuídos
Bernd Bohnet, Vinh Q. Tran, Pat Verga, Roee Aharoni, Daniel Andor, Livio Baldini Soares, Massimiliano Ciaramita, Jacob Eisenstein, Kuzman Ganchev, Jonathan Herzig, Kai Hui, Tom Kwiatkowski, Ji Ma, Jianmo Ni, Lierni Sestorain Saralegui, Tal Schuster, William W. Cohen, Michael Collins, Dipanjan Das, Donald Metzler, Slav Petrov, Kellie Webster
ARXIV 2022. [Papel]
15 de dezembro de 2022
Os grandes modelos de linguagem podem inferir a causa da correlação?
Zhijing Jin, Jiarui Liu, Zhiheng Lyu, Spencer Poff, Mrinmaya Sachan, Rada Mihalcea, Mona Diab, Bernhard Schölkopf
Arxiv 2023. [Paper] [Github]
9 de junho de 2023
Inferência de seleção: explorando grandes modelos de linguagem para raciocínio lógico interpretável
Antonia Creswell, Murray Shanahan, Irina Higgins
ICLR 2023. [Papel]
19 de maio de 2022
Investigando o entendimento causal no LLMS
Marius Hobbhahn, Tom Lieberum, David Seiler
Neurips 2022 Workshop. [Paper] [Blog]
3 de outubro de 2022
