الحالة: أرشيف (يتم توفير الكود كما هو، ولا يتوقع تحديثات)
التعليمات البرمجية والنماذج من الورقة "نماذج اللغة هي متعلمون متعددو المهام غير خاضعين للرقابة".
يمكنك القراءة عن GPT-2 وإصداره المرحلي في منشور مدونتنا الأصلي، ومنشور المتابعة لمدة 6 أشهر، والمنشور النهائي.
لقد أصدرنا أيضًا مجموعة بيانات للباحثين لدراسة سلوكياتهم.
* لاحظ أن أعداد المعلمات الأصلية لدينا كانت خاطئة بسبب خطأ (في منشوراتنا وأبحاثنا السابقة بالمدونة). وبالتالي ربما تكون قد شاهدت حجمًا صغيرًا يُشار إليه بـ 117M ومتوسطًا يُشار إليه بـ 345M.
والمقصود من هذا المستودع أن يكون نقطة انطلاق للباحثين والمهندسين لتجربة GPT-2.
للحصول على المعلومات الأساسية، راجع بطاقة النموذج الخاصة بنا.
يرجى إعلامنا إذا كنت تجري بحثًا مثيرًا للاهتمام أو تعمل على تطبيقات GPT-2! نحن مهتمون بشكل خاص بالاستماع إلى أولئك الذين يدرسون وربما العمل معهم
راجع DEVELOPERS.md
انظر CONTRIBUTORS.md
الرجاء استخدام إدخال bibtex التالي:
@article{radford2019language,
title={Language Models are Unsupervised Multitask Learners},
author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
year={2019}
}
قد نقوم بإصدار تعليمات برمجية لتقييم النماذج بناءً على معايير مختلفة.
ما زلنا نفكر في إطلاق النماذج الأكبر حجمًا.
تعديل معهد ماساتشوستس للتكنولوجيا