microGPT

microGPT: بناء GPT من الصفر

يعد microGPT تطبيقًا خفيف الوزن لنموذج المحول التوليدي المُدرب مسبقًا (GPT) لمهام معالجة اللغة الطبيعية. لقد تم تصميمه ليكون بسيطًا وسهل الاستخدام، مما يجعله خيارًا رائعًا للتطبيقات صغيرة الحجم أو للتعلم وتجربة النماذج التوليدية.

سمات

• تنفيذ خفيف الوزن لنماذج GPT
• تم التدريب على مجموعة بيانات متنوعة صغيرة الحجم (6 جيجابايت)
• مُصمم ليتم تدريبه على وحدة معالجة الرسومات (RTX 4060 8GB) للمستهلك
• عدد صغير من المعلمات (82 مليون!)
• معلمات مفرطة قابلة للتخصيص لتكوين النموذج
• يدعم ترشيح Top K Top P وقياس درجة الحرارة
• تمت كتابته بلغة Python باستخدام PyTorch كإطار عمل للتعلم العميق

300 ألف تكرار للتدريب

تثبيت

1. انسخ الريبو وقم بتشغيل pip install -r requirements.txt

الاستخدام

1. قم بتشغيل tokenizer/train_tokenizer.py لإنشاء ملف الرمز المميز. سيقوم النموذج بترميز النص بناءً عليه.
2. قم بتشغيل datasets/prepare_dataset.py لإنشاء ملفات مجموعة البيانات.
3. قم بتشغيل train.py لبدء التدريب~

قم بتعديل الملفات المذكورة أعلاه إذا كنت ترغب في تغيير معلماتها.

الاستخدام (الاستدلال)

لتحرير معلمات إنشاء النموذج، انتقل إلى inference.py إلى هذا القسم:

 # Parameters (Edit here):
n_tokens = 1000
temperature = 0.8
top_k = 0
top_p = 0.9
model_path = 'models/microGPT.pth'

# Edit input here
context = "The magical wonderland of"

هل أنت مهتم بالنشر كتطبيق ويب؟ تحقق من نشر microGPT!

مزايا ميكروGPT:

1. من كفاءة الصفر: تم تطوير microGPT من الألف إلى الياء، وهو يمثل نهجًا مبسطًا لنموذج GPT الموقر. إنه يُظهر كفاءة ملحوظة مع الحفاظ على مقايضة طفيفة في الجودة.

2. ساحة التعلم: تم تصميم بنية microGPT للأفراد الذين يتوقون إلى التعمق في عالم الذكاء الاصطناعي، وتوفر فرصة فريدة لفهم الأعمال الداخلية للنماذج التوليدية. إنها منصة انطلاق لصقل مهاراتك وتعميق فهمك.

3. قوة صغيرة الحجم: إلى جانب التعلم والتجريب، تعد تقنية microGPT خيارًا مناسبًا للتطبيقات صغيرة الحجم. فهو يمكّنك من دمج توليد اللغة المدعومة بالذكاء الاصطناعي في المشاريع التي تكون فيها الكفاءة والأداء أمرًا بالغ الأهمية.

التمكين من خلال القدرة على التكيف:

1. قدرات التخصيص: تمكّنك قدرة microGPT على التكيف من تعديل النموذج وضبطه ليناسب أهدافك المحددة، مما يوفر إطارًا لإنشاء حلول الذكاء الاصطناعي المصممة خصيصًا لتلبية متطلباتك.

2. رحلة التعلم: استخدم microGPT كنقطة انطلاق لفهم أسس النماذج التوليدية. يوفر تصميمها ووثائقها التي يمكن الوصول إليها بيئة مثالية لأولئك الجدد في مجال الذكاء الاصطناعي.

3. مختبر التجارب: شارك في التجارب من خلال تعديل واختبار معلمات microGPT. توفر بساطة النموذج وتعدد استخداماته أرضًا خصبة للابتكار.

مساهمة

إذا كنت ترغب في المساهمة، يرجى اتباع هذه الإرشادات:

• افصل المستودع وأنشئ فرعًا جديدًا لمساهمتك.
• تأكد من أن تغييراتك تتوافق مع أهداف المستودع وغرضه.
• اجعل التزاماتك واضحة ووصفية، باتباع تنسيق الالتزامات التقليدية.
• اكتب تعليمات برمجية واضحة وموجزة مع التعليقات والوثائق المناسبة.
• اختبر تغييراتك بدقة للتأكد من أنها لا تؤدي إلى أخطاء جديدة.
• أرسل طلب سحب (PR) مع وصف تفصيلي للتغييرات التي أجريتها، بالإضافة إلى أي معلومات أو لقطات شاشة ذات صلة.

من خلال المساهمة في هذا المستودع، فإنك توافق على الالتزام بقواعد السلوك الخاصة بنا وأنه سيتم إصدار مساهماتك بموجب نفس ترخيص المستودع.

موارد

• الاهتمام هو كل ما تحتاجه
• دعونا نبني GPT من الصفر
• تحدي MiniPile لنماذج اللغة ذات الكفاءة في البيانات
• تنفيذ Huggingface GPT 2

الاعتمادات

هذا النموذج مستوحى من Andrej Karpathy فلنقم ببناء GPT من فيديو الصفر وAndrej Kaparthy nanoGPT مع تعديلات لهذا المشروع.