GPT2 ChineseChat NCNN

GPT2-ChineseChat-NCNN

ماذا : لدى GPT العديد من النماذج الممتازة لقد أصابني اختيار النموذج بالصداع لفترة طويلة. يميل الناس إلى استخدام نموذج minGPT للنشر، لكنني لم أتمكن من تدريب النموذج الصيني. لذلك اضطررت إلى اختيار نموذج صيني جاهز، وبالنظر إلى أن تنسيق الحوار يتم عرضه بشكل أفضل، فقد اخترت مشروع GPT2-chitchat. (ملاحظة: بعد الاختبار، جودة الحوار في هذا النموذج ليست عالية. لا يمكن استخدامه إلا للمتعة. إنه يُظهر بشكل أساسي عمل وضع GPT في ncnn)

هدف العمل : استخدم ncnn لنشر GPT2-chitchat، وهو نموذج محادثة صيني يعتمد على GPT2. الهدف هو تقديم عروض توضيحية لـ x86 وAndroid.

يعرض

أندرويد: تنزيل APK(6666)

x86: (في الوقت الحالي، يبدو الأمر طبيعيًا بعض الشيء، ولكنه يبدو أيضًا هراء بعض الشيء)

محتوى العمل

• فرز وتصدير نموذج Pytorch
• العرض التوضيحي x86 (ملاحظة: نظرًا لأن النموذج كبير جدًا، فقد قسمته إلى أربعة وقمت بتحميله على github، لذلك لا بد لي من تجميع الصناديق الأربعة الموجودة أسفل التأكيد في حاوية واحدة)
• عرض توضيحي لنظام Android (للتجميع، انسخ نموذج bin ضمن تأكيد x86 إلى تأكيد android، نفس الشيء)

المشكلة الحالية

1. يعتمد مشروع x86 فقط على ncnn، لكنني قمت بتعديل خطوة واحدة في كود مصدر ncnn للتكيف مع حسابات النموذج، وأفكر في تغييره إلى نموذج يمكن استخدامه بواسطة ncnn الأصلي عند إنشاء إصدار Android.
2. التنفيذ الحالي للرمز المميز غير رسمي نسبيًا ولا ينبغي أن يمثل مشكلة في اللغة الإنجليزية، ولا يمكن تمييز تجزئة الكلمات، ويمكن ترجمتها حرفًا بحرف.

الرجوع إلى

1. ncnn
2. GPT2-دردشة