تنزيل homemade gpt js - تنزيل كود المصدر homemade gpt js

homemade gpt js

شفرة المصدر الأخرى

تنزيل

GPT محلية الصنع • شبيبة

محلية الصنع GPT JS

الحد الأدنى من إعادة تنفيذ TensorFlow.js لـ MinGPT الخاص بـ Karpathy (المحول التوليدي المُدرب مسبقًا).

يمكن العثور على تعريف كامل لنموذج لغة GPT "المحلي الصنع" (كله) في ملف model.ts هذا (أقل من 300 سطر من التعليمات البرمجية).

نظرًا لأن model.ts مكتوب بلغة TypeScript، يمكنك استخدام ملعب GPT محلي الصنع لتدريبه وتجربة المعلمات وإنشاء تنبؤاته مباشرة في المتصفح باستخدام وحدة معالجة الرسومات.

تمت كتابة النموذج والملعب لأغراض تعليمية ، لفهم كيفية عمل GPT واستخدام WebGPU للتدريب.

لفهم ما يحدث في ملف model.ts، يرجى الرجوع إلى محاضرة Andrej Karpathy الموضحة جيدًا والمباشرة "دعونا نبني GPT: من الصفر، في التعليمات البرمجية، مكتوبة" (يمكن القول إنها واحدة من أفضل الشروحات لـ GPT المتوفرة).

مجلد جي بي تي

ستجد داخل المجلد ./gpt/src/ الملفات التالية:

model.ts - هذا هو الملف الرئيسي المثير للاهتمام، لأنه يحتوي على التعريف الكامل (ولكن البسيط) لنموذج وحدة فك ترميز GPT، كما هو موضح في ورقة الاهتمام هو كل ما تحتاجه.
model-easier.ts - هذا هو نفس نموذج GPT كما في الملف السابق ولكنه مبسط لتسهيل الفهم. والفرق الرئيسي هو أنه يعالج جميع Heads داخل CausalSelfAttention بشكل تسلسلي (بدلاً من التوازي). ونتيجة لذلك، أصبح النموذج أبطأ قليلاً ولكنه أكثر قابلية للقراءة.
config.ts - يحتوي على مجموعات مكونة مسبقًا من معلمات نماذج GPT: GPT-pico، وGPT-nano، وGPT-mini، وGPT-2، وما إلى ذلك.
dataset.ts - لا يوجد شيء خاص بـ GPT هنا. غلاف مساعد أعلى أي مجموعة بيانات على مستوى الأحرف تعتمد على ملف txt. يقوم بتحميل ملف txt عشوائي، ويعامل كل حرف كرمز مميز، ويقسم الأحرف إلى دفعات تدريب واختبار، وترميز/فك تشفير الحروف إلى مؤشرات والعكس صحيح.
Trainer.ts - لا يوجد شيء خاص بـ GPT هنا أيضًا. يوفر هذا الملف حلقة تدريب بسيطة يمكن تطبيقها على أي شبكة عصبية عشوائية.

يتم نشر بعض أوزان النماذج المدربة مسبقًا في مستودع الأوزان محلي الصنع-gpt-js-weights repository. يمكنك تطبيقها عبر ساحة اللعب على الويب (قسم "الجيل") أو عبر ساحة اللعب Node.js ( model.setWeights() ).