GPT2 ChineseChat NCNN

GPT2-ChineseChat-NCNN

Was : GPT hat viele hervorragende Modelle, die mir lange Zeit Kopfschmerzen bereiteten. Die Leute neigen dazu, das minGPT-Modell für die Bereitstellung zu verwenden, aber ich konnte kein chinesisches Modell trainieren. Daher musste ich mich für ein vorgefertigtes chinesisches Modell entscheiden. Da das Dialogformat besser dargestellt wird, habe ich mich für das GPT2-Chitchat-Projekt entschieden. (PS: Nach dem Test ist die Dialogqualität dieses Modells nicht hoch. Es kann nur zum Spaß verwendet werden. Es zeigt hauptsächlich die Arbeit, GPT in ncnn zu integrieren.)

Arbeitsziel : Verwenden Sie ncnn, um GPT2-chitchat bereitzustellen, ein chinesisches Konversationsmodell basierend auf GPT2. Ziel ist die Bereitstellung von Demos für x86 und Android.

ausstellen

Android: APK-Download (6666)

x86: (Derzeit sieht es ein bisschen normal aus, fühlt sich aber auch ein bisschen Unsinn an)

Arbeitsinhalte

• Sortieren und Exportieren von Pytorch-Modellen
• x86-Demo (PS: Da das Modell zu groß ist, habe ich es in vier Teile geteilt und auf Github hochgeladen, sodass ich die vier Bins unter „Assert“ in eine zusammenfassen muss)
• Android-Demo (Zum Kompilieren kopieren Sie das Bin-Modell unter x86 Assert nach Android Assert, dasselbe)

aktuelles Problem

1. Das x86-Projekt basiert nur auf ncnn, aber ich habe einen Schritt im ncnn-Quellcode geändert, um ihn an die Berechnung des Modells anzupassen. Ich denke darüber nach, ihn in ein Modell zu ändern, das von nativem ncnn bei der Erstellung der Android-Version verwendet werden kann.
2. Die aktuelle Implementierung des Tokenizers ist relativ einfach. Im Englischen sollte die Wortsegmentierung nicht unterschieden werden und kann Buchstabe für Buchstabe übersetzt werden.

beziehen sich auf

1. ncnn
2. GPT2-Geplauder