gpt 2

Status: Arquivo (o código é fornecido como está, nenhuma atualização é esperada)

gpt-2

Código e modelos do artigo "Modelos de linguagem são alunos multitarefa não supervisionados".

Você pode ler sobre o GPT-2 e seu lançamento gradual em nossa postagem original do blog, na postagem de acompanhamento de 6 meses e na postagem final.

Também lançamos um conjunto de dados para os pesquisadores estudarem seus comportamentos.

^* Observe que nossas contagens de parâmetros originais estavam erradas devido a um erro (em nossas postagens e artigos anteriores). Portanto, você deve ter visto o pequeno chamado 117M e o médio chamado 345M.

Uso

Este repositório pretende ser um ponto de partida para pesquisadores e engenheiros experimentarem o GPT-2.

Para obter informações básicas, consulte nosso cartão de modelo.

Algumas advertências

• A robustez e os piores comportamentos dos modelos GPT-2 não são bem compreendidos. Como acontece com qualquer modelo aprendido por máquina, avalie cuidadosamente o GPT-2 para seu caso de uso, especialmente se usado sem ajuste fino ou em aplicações críticas de segurança onde a confiabilidade é importante.
• O conjunto de dados no qual nossos modelos GPT-2 foram treinados contém muitos textos com preconceitos e imprecisões factuais e, portanto, os modelos GPT-2 provavelmente também serão tendenciosos e imprecisos.
• Para evitar que as amostras sejam confundidas com escritas por humanos, recomendamos rotular claramente as amostras como sintéticas antes da ampla divulgação. Nossos modelos costumam ser incoerentes ou imprecisos de maneiras sutis, o que exige mais do que uma leitura rápida para que um ser humano perceba.

Trabalhe conosco

Informe-nos se você estiver fazendo pesquisas interessantes ou trabalhando em aplicações do GPT-2! Estamos especialmente interessados ​​em ouvir e potencialmente trabalhar com aqueles que estão estudando

• Possíveis casos de uso malicioso e defesas contra eles (por exemplo, a detectabilidade de texto sintético)
• A extensão do conteúdo problemático (por exemplo, preconceito) incorporado aos modelos e mitigações eficazes

Desenvolvimento

Veja DESENVOLVEDORES.md

Colaboradores

Veja CONTRIBUIDORES.md

Citação

Por favor use a seguinte entrada do bibtex:

 @article{radford2019language,
  title={Language Models are Unsupervised Multitask Learners},
  author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
  year={2019}
}

Trabalho futuro

Podemos lançar código para avaliar os modelos em vários benchmarks.

Ainda estamos considerando o lançamento dos modelos maiores.

Licença

MIT modificado