GPT2 ChineseChat NCNN

GPT2-จีนแชท-NCNN

อะไร : GPT มีโมเดลที่ยอดเยี่ยมมากมาย การเลือกโมเดลทำให้ฉันปวดหัวมาเป็นเวลานาน ผู้คนมักจะใช้โมเดล minGPT ในการปรับใช้ แต่ฉันไม่สามารถฝึกโมเดลภาษาจีนได้ ดังนั้นฉันจึงต้องเลือกโมเดลภาษาจีนสำเร็จรูป เมื่อพิจารณาว่ารูปแบบบทสนทนาจะแสดงได้ดีกว่า ฉันจึงเลือกโปรเจ็กต์ GPT2-chitchat (ปล. หลังจากทดสอบแล้วคุณภาพบทสนทนาของรุ่นนี้ไม่ได้สูงนะ เอาไว้ใช้เล่นๆ อย่างเดียว เน้นให้เห็นการทำงานของการใส่ GPT ลงใน ncnn เป็นหลัก)

เป้าหมายการทำงาน : ใช้ ncnn เพื่อปรับใช้ GPT2-chitchat ซึ่งเป็นโมเดลการสนทนาภาษาจีนที่ใช้ GPT2 เป้าหมายคือการจัดเตรียมการสาธิตสำหรับ x86 และ Android

จัดแสดง

หุ่นยนต์: ดาวน์โหลด APK (6666)

x86: (ปัจจุบันมันดูธรรมดาไปหน่อย แต่ก็รู้สึกไร้สาระนิดหน่อย)

เนื้อหางาน

• การเรียงลำดับและส่งออกโมเดล Pytorch
• การสาธิต x86 (ป.ล. เนื่องจากโมเดลนี้ใหญ่เกินไป ฉันจึงแบ่งออกเป็นสี่ส่วนและอัปโหลดไปยัง GitHub ดังนั้นฉันจึงต้องรวมสี่ถังขยะไว้ใต้ assert เป็นหนึ่งเดียว)
• การสาธิต android (ในการคอมไพล์ให้คัดลอกโมเดล bin ภายใต้ x86 assert ไปยัง android assert เหมือนกัน)

ปัญหาปัจจุบัน

1. โปรเจ็กต์ x86 อาศัย ncnn เท่านั้น แต่ฉันแก้ไขหนึ่งขั้นตอนในซอร์สโค้ด ncnn เพื่อปรับให้เข้ากับการคำนวณของโมเดล ฉันกำลังพิจารณาที่จะเปลี่ยนเป็นโมเดลที่ ncnn ดั้งเดิมสามารถใช้ได้เมื่อสร้างเวอร์ชัน Android
2. การใช้โทเค็นไนเซอร์ในปัจจุบันค่อนข้างจะไม่เป็นทางการ ในภาษาอังกฤษ การแบ่งส่วนคำไม่สามารถแยกแยะได้ และสามารถแปลเป็นตัวอักษรต่อตัวอักษรได้

อ้างถึง

1. ncnn
2. GPT2-คุยกัน