GPT2 ChineseChat NCNN

GPT2-ChineseChat-NCNN

Apa : GPT memiliki banyak model yang sangat baik. Memilih model sudah lama membuat saya pusing. Orang cenderung menggunakan model minGPT untuk penerapan, namun saya belum bisa melatih model China. Jadi saya harus memilih model Cina yang sudah jadi. Mengingat format dialog yang ditampilkan lebih baik, saya memilih proyek obrolan GPT2. (PS: Setelah diuji, kualitas dialog model ini tidak tinggi. Hanya dapat digunakan untuk bersenang-senang. Ini terutama menunjukkan pekerjaan memasukkan GPT ke ncnn)

Tujuan kerja : Menggunakan ncnn untuk menerapkan GPT2-chitchat, model percakapan berbahasa Mandarin berdasarkan GPT2. Tujuannya adalah untuk menyediakan demo untuk x86 dan android.

pameran

android: unduhan APK (6666)

x86: (Saat ini, terlihat agak normal, tetapi juga terasa agak tidak masuk akal)

Konten pekerjaan

• Penyortiran dan ekspor model Pytorch
• x86 demo (PS: Karena modelnya terlalu besar, saya membaginya menjadi empat dan mengunggahnya ke github, jadi saya harus memasukkan empat bin di bawah pernyataan menjadi satu)
• demo Android (Untuk mengkompilasi, salin model bin di bawah x86 tegaskan ke Android tegaskan, sama saja)

masalah saat ini

1. Proyek x86 hanya mengandalkan ncnn, tetapi saya memodifikasi satu langkah pada kode sumber ncnn untuk beradaptasi dengan perhitungan model. Saya sedang mempertimbangkan untuk mengubahnya ke model yang dapat digunakan oleh ncnn asli saat membuat versi Android.
2. Penerapan tokenizer saat ini relatif biasa saja. Bahasa Mandarin umum seharusnya tidak menjadi masalah. Dalam bahasa Inggris, segmentasi kata tidak dapat dibedakan, dan dapat diterjemahkan huruf demi huruf.

lihat

1. ncnn
2. GPT2-ngobrol