gpt 2

Statut : Archive (le code est fourni tel quel, aucune mise à jour n'est prévue)

gpt-2

Code et modèles de l'article "Les modèles linguistiques sont des apprenants multitâches non supervisés".

Vous pouvez en savoir plus sur GPT-2 et sa publication par étapes dans notre article de blog original, notre article de suivi de 6 mois et notre article final.

Nous avons également publié un ensemble de données permettant aux chercheurs d'étudier leurs comportements.

^* Notez que nos décomptes de paramètres d'origine étaient erronés en raison d'une erreur (dans nos précédents articles de blog et articles). Ainsi, vous avez peut-être vu un petit appelé 117M et un moyen appelé 345M.

Usage

Ce référentiel est destiné à être un point de départ permettant aux chercheurs et aux ingénieurs d'expérimenter GPT-2.

Pour des informations de base, consultez notre fiche modèle.

Quelques mises en garde

• La robustesse des modèles GPT-2 et les pires comportements ne sont pas bien compris. Comme pour tout modèle appris par machine, évaluez soigneusement GPT-2 pour votre cas d'utilisation, en particulier s'il est utilisé sans réglage précis ou dans des applications critiques pour la sécurité où la fiabilité est importante.
• L'ensemble de données sur lequel nos modèles GPT-2 ont été formés contient de nombreux textes comportant des biais et des inexactitudes factuelles, et les modèles GPT-2 sont donc susceptibles d'être également biaisés et inexacts.
• Pour éviter que les échantillons ne soient confondus avec des écrits humains, nous recommandons de clairement étiqueter les échantillons comme étant synthétiques avant une large diffusion. Nos modèles sont souvent incohérents ou inexacts de manière subtile, ce qui nécessite plus qu'une lecture rapide pour qu'un humain le remarque.

Travaillez avec nous

Veuillez nous faire savoir si vous effectuez des recherches intéressantes avec ou si vous travaillez sur des applications de GPT-2 ! Nous sommes particulièrement intéressés à entendre et éventuellement à travailler avec ceux qui étudient

• Cas d'utilisation malveillants potentiels et défenses contre ceux-ci (par exemple, la détectabilité du texte synthétique)
• L'étendue du contenu problématique (par exemple, les biais) intégré aux modèles et les mesures d'atténuation efficaces

Développement

Voir DEVELOPERS.md

Contributeurs

Voir CONTRIBUTEURS.md

Citation

Veuillez utiliser l'entrée Bibtex suivante :

 @article{radford2019language,
  title={Language Models are Unsupervised Multitask Learners},
  author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
  year={2019}
}

Travaux futurs

Nous pouvons publier du code pour évaluer les modèles sur divers benchmarks.

Nous envisageons toujours la sortie des modèles plus grands.

Licence

MIT modifié