GPT2 ChineseChat NCNN

GPT2-ChineseChat-NCNN

Qué : GPT tiene muchos modelos excelentes. Elegir un modelo me ha dado dolor de cabeza durante mucho tiempo. La gente tiende a usar el modelo minGPT para la implementación, pero no he podido entrenar un modelo chino. Así que tuve que elegir un modelo chino ya preparado. Teniendo en cuenta que el formato de diálogo se muestra mejor, elegí el proyecto GPT2-chitchat. (PD: después de las pruebas, la calidad del diálogo de este modelo no es alta. Solo se puede usar por diversión. Muestra principalmente el trabajo de poner GPT en ncnn)

Objetivo de trabajo : Utilice ncnn para implementar GPT2-chitchat, un modelo de conversación chino basado en GPT2. El objetivo es proporcionar demostraciones para x86 y Android.

anexo

Android: descarga de APK (6666)

x86: (En la actualidad, parece un poco normal, pero también parece un poco absurdo)

Contenido del trabajo

• Clasificación y exportación de modelos de Pytorch
• Demostración x86 (PD: debido a que el modelo es demasiado grande, lo dividí en cuatro y lo cargué en github, por lo que tengo que agrupar los cuatro contenedores en aserción en uno)
• Demostración de Android (para compilar, copie el modelo bin en x86 afirmar a Android afirmar, lo mismo)

problema actual

1. El proyecto x86 solo se basa en ncnn, pero modifiqué un paso en el código fuente de ncnn para adaptarlo al cálculo del modelo. Estoy considerando cambiarlo a un modelo que pueda ser utilizado por ncnn nativo al crear la versión de Android.
2. La implementación actual del tokenizador es relativamente informal. El chino común no debería ser un problema. En inglés, la segmentación de palabras no se puede distinguir y se puede traducir letra por letra.

referirse a

1. ncnn
2. Charla GPT2