Basic UI for GPT J 6B with low vram

واجهة المستخدم الأساسية لـ GPT-J-6B ذات ذاكرة فيديو منخفضة

مستودع لتشغيل GPT-J-6B على أنظمة vram منخفضة باستخدام كل من ذاكرة الوصول العشوائي وvram والذاكرة المثبتة.

يبدو أن هناك بعض المشكلات المتعلقة بالأوزان الموجودة في رابط محرك الأقراص. يبدو أن هناك بعض الخسارة في الأداء، على الأرجح بسبب ضعف تحويل 16 بت.

كيفية التشغيل :

الاستخدام - تثبيت النقطة git+https://github.com/finetuneanon/transformers@gpt-neo-localattention3
استخدم الرابط - https://drive.google.com/file/d/1tboTvohQifN6f1JiSV8hnciyNKvj9pvm/view?usp=sharing لتنزيل النموذج الذي تم حفظه كما هو موضح هنا - https://github.com/arrmansa/ Saving-and -تحميل-نماذج-كبيرة-pytorch

التوقيت (سياق رمزي 2000)

1

نظام -

رام 16 جيجا ddr4 . وحدة معالجة الرسومات 1070 8 جيجابايت.
23 كتلة على ذاكرة الوصول العشوائي (ram_blocks = 23) منها 18 موجودة على الذاكرة المشتركة/المثبتة (max_shared_ram_blocks = 18).

توقيت -

يستغرق التشغيل الفردي للنموذج (المدخلات) 6.5 ثانية.
35 ثانية لإنشاء 25 رمزًا في سياق 2000. (1.4 ثانية/رمز)

2

نظام -

رام 16 جيجا ddr4 . وحدة معالجة الرسومات 1060 6 جيجابايت.
26 كتلة على ذاكرة الوصول العشوائي (ram_blocks = 26) منها 18 موجودة على الذاكرة المشتركة/المثبتة (max_shared_ram_blocks = 18).

توقيت -

40 ثانية لإنشاء 25 رمزًا في سياق 2000. (1.6 ثانية/رمز)