deeplearning nlp models
1.0.0
قاعدة تعليمات برمجية صغيرة وقابلة للتفسير تحتوي على إعادة تنفيذ عدد قليل من نماذج البرمجة اللغوية العصبية "العميقة" في PyTorch.
يتم تقديم هذا كنقطة بداية (غير مكتملة) لأولئك المهتمين بالدخول في أعشاب معمارية DL في البرمجة اللغوية العصبية. يتم عرض النماذج المشروحة مع بعض الملاحظات.
توجد روابط لتشغيل هذه النماذج على colab مع وحدات معالجة الرسومات ️ عبر أجهزة الكمبيوتر المحمولة.
النماذج الحالية : word2vec، CNNs، محول، gpt. ( العمل قيد التقدم )
بيرت: القراءة. الفهم.
ملحوظة: هذه إصدارات لعبة من كل موديل.
يتم تقديم نماذج البرمجة اللغوية العصبية هذه بترتيب زمني، وكما قد تتوقع، فهي مبنية على بعضها البعض.
| فئة النموذج | نموذج | سنة |
|---|---|---|
| التضمين | ||
| 1. | تضمينات Word2Vec (التعلم تحت الإشراف الذاتي) | 2013 |
| سي إن إن | ||
| 2. | تصنيف النص القائم على CNN (التصنيف الثنائي) | 2014 |
| محولات | ||
| 3. | محول OG (الترجمة الآلية) | 2017 |
| 4. | نموذج GPT الخاص بـ OpenAI (نموذج اللغة) | 2018، 2019، 2020 |
يحتوي هذا المستودع على الميزات التالية:
بعد مراجعة هذه النماذج، أصبح العالم هو محارتك فيما يتعلق بالنماذج الأخرى التي يمكنك استكشافها:
Char-RNN، BERT، ELMO، XLNET، جميع أنواع BERTs الأخرى، BART، Performance، T5، إلخ....
النماذج المستقبلية للتنفيذ:
ميزات الريبو المستقبلية:
يمكنك تثبيت الريبو باستخدام pip :
pip install git + https : // github . com / will - thompson - k / deeplearning - nlp - models فيما يلي تفصيل للمستودع:
nlpmodels/models : رمز النموذج لكل ورقة. nlpmodels/utils : يحتوي على جميع الفئات المساعدة المتعلقة ببناء النموذج، بما في ذلك مجموعات البيانات والمفردات والرموز المميزة وأخذ العينات وفصول المدرب. ( ملاحظة: يتم طرح معظم الملفات غير النموذجية في الأدوات المساعدة. أنصح بعدم القيام بذلك في الريبو الأكبر.) tests : تغطية خفيفة (وليست شاملة بأي حال من الأحوال). notebooks : تحتوي على دفاتر الملاحظات والكتابة لكل تطبيق نموذجي.بعض الأوامر المفيدة:
make test : قم بتشغيل مجموعة الاختبارات الكاملة (يمكنك أيضًا استخدام setup.py test و run_tests.sh ). make test_light : تشغيل كافة الاختبارات باستثناء اختبارات الانحدار. make lint : إذا كنت حقًا تحب كود الفحص (يمكنك أيضًا تشغيل run_pylint.sh ). بايثون 3.6+
فيما يلي متطلبات الحزمة (الموجودة في ملف require.txt)
@ misc { deeplearning - nlp - models ,
author = { Thompson , Will },
url = { https : // github . com / will - thompson - k / deeplearning - nlp - models },
year = { 2020 }
} معهد ماساتشوستس للتكنولوجيا
