gpt 3

GPT-3: Modelos de linguagem são aprendizes rápidos

link arXiv

Trabalhos recentes demonstraram ganhos substanciais em muitas tarefas e benchmarks de PNL através do pré-treinamento em um grande corpus de texto seguido de ajuste fino em uma tarefa específica. Embora normalmente seja independente de tarefas na arquitetura, esse método ainda requer conjuntos de dados de ajuste fino específicos de tarefas com milhares ou dezenas de milhares de exemplos. Por outro lado, os humanos geralmente podem realizar uma nova tarefa linguística a partir de apenas alguns exemplos ou de instruções simples – algo que os sistemas atuais de PNL ainda têm grande dificuldade em fazer. Aqui mostramos que a ampliação dos modelos de linguagem melhora muito o desempenho independente de tarefas e de poucas tentativas, às vezes até alcançando competitividade com abordagens anteriores de ajuste fino de última geração. Especificamente, treinamos GPT-3, um modelo de linguagem autoregressivo com 175 bilhões de parâmetros, 10x mais do que qualquer modelo de linguagem não esparso anterior, e testamos seu desempenho na configuração de poucos disparos. Para todas as tarefas, o GPT-3 é aplicado sem nenhuma atualização de gradiente ou ajuste fino, com tarefas e demonstrações de poucos disparos especificadas puramente por meio de interação de texto com o modelo. O GPT-3 alcança forte desempenho em muitos conjuntos de dados de PNL, incluindo tarefas de tradução, resposta a perguntas e cloze, bem como várias tarefas que exigem raciocínio rápido ou adaptação de domínio, como desembaralhar palavras, usar uma palavra nova em um sentença ou realizando aritmética de 3 dígitos. Ao mesmo tempo, também identificamos alguns conjuntos de dados onde o aprendizado rápido do GPT-3 ainda apresenta dificuldades, bem como alguns conjuntos de dados onde o GPT-3 enfrenta problemas metodológicos relacionados ao treinamento em grandes corpora web. Finalmente, descobrimos que o GPT-3 pode gerar amostras de artigos de notícias que os avaliadores humanos têm dificuldade em distinguir dos artigos escritos por humanos. Discutimos os impactos sociais mais amplos desta descoberta e do GPT-3 em geral.

Conteúdo

• 175b_samples.jsonl - Amostras de token 2.048 incondicionais e não filtradas do GPT-3 com p = 0,85, t = 1. AVISO DE CONTEÚDO: GPT-3 foi treinado com dados arbitrários da web, portanto pode conter conteúdo e linguagem ofensivos.
• dados - Conjuntos de dados sintéticos para embaralhamento de palavras e tarefas aritméticas descritas no artigo.
• dataset_statistics – Estatísticas para todos os idiomas incluídos no mix do conjunto de dados de treinamento.
• lap_frequency.md - Amostras de sobreposições de 13 gramas entre nossos dados de treinamento e benchmarks, selecionadas por frequência no conjunto de treinamento.
• model-card.md - Placa modelo GPT-3.

Como citar

 @article{brown2020language,
    title={Language Models are Few-Shot Learners},
    author={Tom B. Brown and Benjamin Mann and Nick Ryder and Melanie Subbiah and Jared Kaplan and Prafulla Dhariwal and Arvind Neelakantan and Pranav Shyam and Girish Sastry and Amanda Askell and Sandhini Agarwal and Ariel Herbert-Voss and Gretchen Krueger and Tom Henighan and Rewon Child and Aditya Ramesh and Daniel M. Ziegler and Jeffrey Wu and Clemens Winter and Christopher Hesse and Mark Chen and Eric Sigler and Mateusz Litwin and Scott Gray and Benjamin Chess and Jack Clark and Christopher Berner and Sam McCandlish and Alec Radford and Ilya Sutskever and Dario Amodei},
    year={2020},
    eprint={2005.14165},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}