GPT2 ChineseChat NCNN

GPT2-chinêsChat-NCNN

O quê : GPT tem muitos modelos excelentes. A escolha de um modelo me dá dor de cabeça há muito tempo. As pessoas tendem a usar o modelo minGPT para implantação, mas não consegui treinar um modelo chinês. Então tive que escolher um modelo chinês pronto Considerando que o formato do diálogo é melhor exibido, escolhi o projeto GPT2-chitchat. (PS: Após o teste, a qualidade do diálogo deste modelo não é alta. Ele só pode ser usado para diversão. Mostra principalmente o trabalho de colocar GPT em ncnn)

Objetivo de trabalho : Usar ncnn para implantar GPT2-chitchat, um modelo de conversação chinês baseado em GPT2. O objetivo é fornecer demonstrações para x86 e Android.

exposição

andróide: baixar APK (6666)

x86: (No momento, parece um pouco normal, mas também parece um pouco absurdo)

Conteúdo de trabalho

• Classificação e exportação de modelo Pytorch
• Demonstração x86 (PS: Como o modelo é muito grande, dividi-o em quatro e carreguei-o no github, então tenho que agrupar os quatro compartimentos sob afirmação em um)
• demonstração do Android (para compilar, copie o modelo bin em x86 assert para android assert, o mesmo)

problema atual

1. O projeto x86 depende apenas do ncnn, mas modifiquei uma etapa no código fonte do ncnn para se adaptar ao cálculo do modelo. Estou pensando em alterá-lo para um modelo que possa ser usado pelo ncnn nativo ao fazer a versão Android.
2. A implementação atual do tokenizer é relativamente casual. O chinês comum não deve ser problema. Em inglês, a segmentação de palavras não pode ser distinguida e pode ser traduzida letra por letra.

consulte

1. ncnn
2. Bate-papo GPT2