picoGPT

بيكوGPT

منشور المدونة المصاحب: GPT في 60 سطرًا من Numpy

---

لقد رأيت openai/gpt-2.

لقد رأيت karpathy/minGPT.

لقد رأيت حتى الكارباتي/nanoGPT!

ولكن هل رأيت picoGPT؟؟!

يعد picoGPT تطبيقًا صغيرًا وبسيطًا بشكل غير ضروري لـ GPT-2 في NumPy العادي. يتكون رمز المرور الأمامي بالكامل من 40 سطرًا من التعليمات البرمجية.

مميزات بيكوGPT:

• سريع؟ ناه، picoGPT هو megaSLOW
• كود التدريب؟ خطأ، 4️⃣0️⃣4️⃣ غير موجود
• استنتاج دفعة؟ picoGPT هو خط ملف واحد متحضر، واحدًا تلو الآخر فقط
• أخذ العينات من أعلى ف؟ أعلى ك؟ درجة حرارة؟ أخذ العينات الفئوية؟! طماع؟ ✅
• مقروءة؟ gpt2.py ✅ gpt2_pico.py
• سمول؟؟؟ ✅ ✅ ✅ ✅ ✅ ✅ نعم !!! تيني تايني في الواقع؟

تحليل سريع لكل ملف من الملفات:

• يحتوي encoder.py على رمز BPE Tokenizer الخاص بـ OpenAI، والذي تم أخذه مباشرةً من مستودع gpt-2 الخاص بهم.
• يحتوي utils.py على التعليمات البرمجية لتنزيل وتحميل أوزان نموذج GPT-2 والرمز المميز والمعلمات الفائقة.
• يحتوي gpt2.py على نموذج GPT الفعلي ورمز الإنشاء الذي يمكننا تشغيله كبرنامج نصي بيثون.
• gpt2_pico.py هو نفس gpt2.py ، ولكن بعدد أقل من أسطر التعليمات البرمجية. لماذا؟ لماذا لا؟؟.

التبعيات

pip install -r requirements.txt

تم اختباره على Python 3.9.10 .

الاستخدام

python gpt2.py " Alan Turing theorized that computers would one day become "

الذي يولد

 the most powerful machines on the planet.

The computer is a machine that can perform complex calculations, and it can perform these calculations in a way that is very similar to the human brain.

يمكنك أيضًا التحكم في عدد الرموز المميزة التي سيتم إنشاؤها، وحجم النموذج (واحد من ["124M", "355M", "774M", "1558M"] )، والدليل لحفظ النماذج:

python gpt2.py 
    " Alan Turing theorized that computers would one day become " 
    --n_tokens_to_generate 40 
    --model_size " 124M " 
    --models_dir " models "