gpt 2

Estado: Archivado (el código se proporciona tal cual, no se esperan actualizaciones)

gpt-2

Código y modelos del artículo "Los modelos de lenguaje son estudiantes multitarea sin supervisión".

Puede leer sobre GPT-2 y su lanzamiento por etapas en nuestra publicación de blog original, publicación de seguimiento de 6 meses y publicación final.

También hemos publicado un conjunto de datos para que los investigadores estudien sus comportamientos.

^* Tenga en cuenta que nuestros recuentos de parámetros originales fueron incorrectos debido a un error (en nuestras publicaciones y artículos de blog anteriores). Por lo tanto, es posible que haya visto el tamaño pequeño denominado 117M y el mediano denominado 345M.

Uso

Este repositorio pretende ser un punto de partida para que investigadores e ingenieros experimenten con GPT-2.

Para obtener información básica, consulte nuestra tarjeta de modelo.

Algunas advertencias

• La solidez de los modelos GPT-2 y el peor comportamiento en los casos no se comprenden bien. Al igual que con cualquier modelo de aprendizaje automático, evalúe cuidadosamente GPT-2 para su caso de uso, especialmente si se usa sin ajustes o en aplicaciones críticas para la seguridad donde la confiabilidad es importante.
• El conjunto de datos en el que se entrenaron nuestros modelos GPT-2 contiene muchos textos con sesgos e inexactitudes fácticas y, por lo tanto, es probable que los modelos GPT-2 también sean sesgados e inexactos.
• Para evitar que las muestras se confundan con muestras escritas por humanos, recomendamos etiquetarlas claramente como sintéticas antes de su amplia difusión. Nuestros modelos a menudo son incoherentes o inexactos de manera sutil, lo que requiere más que una lectura rápida para que un humano se dé cuenta.

Trabaja con nosotros

¡Háganos saber si está realizando una investigación interesante o trabajando en aplicaciones de GPT-2! Estamos especialmente interesados ​​en escuchar y potencialmente trabajar con aquellos que están estudiando

• Posibles casos de uso malicioso y defensas contra ellos (por ejemplo, la detectabilidad del texto sintético)
• El alcance del contenido problemático (por ejemplo, sesgo) incorporado en los modelos y las mitigaciones efectivas.

Desarrollo

Ver DESARROLLADORES.md

Colaboradores

Ver CONTRIBUTORS.md

Citación

Utilice la siguiente entrada bibtex:

 @article{radford2019language,
  title={Language Models are Unsupervised Multitask Learners},
  author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
  year={2019}
}

Trabajo futuro

Es posible que publiquemos código para evaluar los modelos en varios puntos de referencia.

Todavía estamos considerando el lanzamiento de los modelos más grandes.

Licencia

MIT modificado