GPT2 ChineseChat NCNN

GPT2-ChineseChat-NCNN

Quoi : GPT propose de nombreux excellents modèles. Choisir un modèle m'a donné mal à la tête pendant longtemps. Les gens ont tendance à utiliser le modèle minGPT pour le déploiement, mais je n'ai pas pu former un modèle chinois. J'ai donc dû choisir un modèle chinois tout fait. Considérant que le format de dialogue est mieux affiché, j'ai choisi le projet GPT2-chitchat. (PS : après test, la qualité du dialogue de ce modèle n'est pas élevée. Il ne peut être utilisé que pour le plaisir. Il montre principalement le travail de mise en place de GPT dans ncnn)

Objectif du travail : Utiliser ncnn pour déployer GPT2-chitchat, un modèle de conversation chinois basé sur GPT2. L'objectif est de fournir des démos pour x86 et Android.

exposition

Android : téléchargement de l'APK (6666)

x86 : (À l'heure actuelle, cela semble un peu normal, mais cela semble aussi un peu absurde)

Contenu du travail

• Tri et exportation de modèles Pytorch
• Démo x86 (PS : parce que le modèle est trop gros, je l'ai divisé en quatre et je l'ai téléchargé sur github, je dois donc regrouper les quatre bacs sous assert en un seul)
• Démo Android (Pour compiler, copiez le modèle bin sous x86 assert vers Android assert, pareil)

problème actuel

1. Le projet x86 s'appuie uniquement sur ncnn, mais j'ai modifié une étape du code source de ncnn pour l'adapter au calcul du modèle. J'envisage de le changer en un modèle pouvant être utilisé par ncnn natif lors de la création de la version Android.
2. La mise en œuvre actuelle du tokenizer est relativement simple. En chinois commun, la segmentation des mots ne peut pas être distinguée et peut être traduite lettre par lettre.

se référer à

1. ncnn
2. Discussion GPT2