GPT2 ChineseChat NCNN

GPT2-ChineseChat-NCNN

Что : У GPT много отличных моделей. Выбор модели уже давно вызывает у меня головную боль. Люди склонны использовать для развертывания модель minGPT, но мне не удалось обучить китайскую модель. Поэтому пришлось выбрать готовую китайскую модель. Учитывая, что формат диалогов отображается лучше, я выбрал проект GPT2-чат. (PS: После тестирования качество диалогов у этой модели невысокое. Ее можно использовать только для развлечения. В основном она показывает работу по помещению GPT в ncnn)

Цель работы : использовать ncnn для развертывания GPT2-чата, китайской модели общения на основе GPT2. Цель — предоставить демо-версии для x86 и Android.

выставка

андроид: скачать APK(6666)

x86: (В настоящее время это выглядит немного нормально, но кажется немного ерундой)

Содержание работы

• Сортировка и экспорт моделей Pytorch
• Демонстрация x86 (PS: поскольку модель слишком велика, я разделил ее на четыре и загрузил на github, поэтому мне придется объединить четыре контейнера в одном утверждении)
• демо-версия Android (для компиляции скопируйте модель bin из x86 Assert в android Assert, то же самое)

текущая проблема

1. Проект x86 опирается только на ncnn, но я изменил один шаг в исходном коде ncnn, чтобы адаптировать его к расчету модели. Я рассматриваю возможность изменить его на модель, которая может использоваться собственным ncnn при создании версии для Android.
2. Текущая реализация токенизатора относительно проста. В английском языке сегментация слов не может быть различима, и ее можно переводить по буквам.

обратитесь к

1. нкнн
2. GPT2-болтовня