GPT2 ChineseChat NCNN

GPT2-中国語チャット-NCNN

内容: GPT には優れたモデルがたくさんありますが、デプロイメントに minGPT モデルを使用する傾向があるため、モデルの選択に長い間悩まされてきましたが、私は中国のモデルをトレーニングできませんでした。そこで、対話形式の表示がより適切であることを考慮して、既製の中国語モデルを選択する必要があり、GPT2-chitchat プロジェクトを選択しました。 (追記: テストした結果、このモデルの対話品質は高くありません。趣味でしか使用できません。主に ncnn に GPT を組み込む作業を示しています)

作業目標: ncnn を使用して、GPT2 に基づく中国語会話モデルである GPT2-chitchat を展開します。目標は、x86 および Android 用のデモを提供することです。

展示する

アンドロイド:APKダウンロード(6666)

x86: (現時点では少し正常に見えますが、少しナンセンスな感じもします)

仕事内容

• Pytorch モデルの並べ替えとエクスポート
• x86 デモ (追記: モデルが大きすぎるため、4 つに分割して github にアップロードしました。そのため、アサート下の 4 つのビンを 1 つにまとめる必要があります)
• android デモ (コンパイルするには、x86 アサートの下の bin モデルを android アサートにコピーします。同じです)

現在の問題

1. x86 プロジェクトは ncnn のみに依存していますが、Android 版を作成する際に、モデルの計算に合わせて ncnn のソース コードを 1 つ修正しました。
2. 現在のトークナイザーの実装は比較的カジュアルで、英語では単語の分割は区別できず、文字ごとに翻訳できます。

参照

1. んんん
2. GPT2-雑談