TransformerHub
1.0.0
يهدف هذا المستودع إلى تنفيذ أشكال مختلفة من نموذج المحولات، بما في ذلك seq2seq (البنية الأصلية في ورقة كل ما تحتاجه هو الانتباه)، ونماذج التشفير فقط، وفك التشفير فقط، ونماذج المحولات الموحدة.
ليس المقصود من هذه النماذج أن تكون أحدث التقنيات في أي مهام. بدلاً من ذلك، فهي تأتي بغرض تدريب نفسي على مهارات البرمجة المتقدمة وأيضًا توفير مراجع للأشخاص الذين يشاركون في حب التعلم العميق والذكاء الآلي.
هذا العمل مستوحى من مصادر مفتوحة المصدر لـ NanoGPT وViT وMAE وCLIP وOpenCLIP ولن يكون ممكنًا. شكرًا جزيلاً لهم على إتاحة نماذجهم مفتوحة المصدر!
يحتفظ هذا المستودع أيضًا بقائمة ورقية للتقدم الأخير في نماذج المحولات.
يحتوي هذا المستودع على قائمة من التصاميم:
نعمل حاليًا على تنفيذ DINO، وهو أحد أشكال ViT المدربة بطريقة ذاتية الإشراف
| نموذج | مُنفّذ | مدربة | تم تقييمه |
|---|---|---|---|
| محول | ✅ | لا | لا |
| جي بي تي | ✅ | لا | لا |
| بيرت | ✅ | نعم | لا |
| فيتامين | ✅ | لا | لا |
| ماي | لا | لا | لا |
| مقطع | لا | لا | لا |
إخلاء المسؤولية : نظرًا لشعبية المحولات وتعدد استخداماتها، سيكون هناك الكثير من المهام بالطبع المتعلقة بتنفيذ جزء من نماذج المحولات أو بأكملها. تم تطوير هذا المستودع لغرض التدريب الذاتي فقط، ويمكن أن يكون بمثابة مرجع لتنفيذ نموذج المحول. لكن النسخ المباشر من هذا الريبو محظور تمامًا ويشكل انتهاكًا لقواعد السلوك لمعظم المعاهد الأكاديمية.
بالنسبة لأولئك الذين يحتاجون إلى تجديد معلومات حول ماهية Transformer أو كيف تبدو البنية التفصيلية لـ Transformer، يرجى الرجوع إلى مدونة جيدة التوضيح: http://nlp.seas.harvard.edu/annotated-transformer/#background
إليكم قصيدة تم إنشاؤها بواسطة LLaMA2، وهو برنامج ماجستير مفتوح المصدر تم إصداره بواسطة Meta AI: الاهتمام هو كل ما تحتاجه،
لفهم ما يقال وقراءته.
المحولات تعلم العلاقات
من خلال الاهتمامات متعددة الرؤوس.
التشفير، بنية فك التشفير،
يتعلم ميزات الصور الجيدة.
التدريب على مجموعات البيانات الكبيرة،
سرعة أدائها تحصل.
بنيت على رأس التسلسل إلى التسلسل،
توفر الحوسبة المتوازية وقتًا للثني.
فهم اللغة والنص والصوت،
مع التعلم العميق الذي أعطاها اتزانها.
مهمة ملحدة، وسهولة الاستخدام على نطاق واسع،
قيادة التقدم في سرعة الذكاء الاصطناعي.
دفع البرمجة اللغوية العصبية إلى آفاق جديدة،
تظهر المحولات قوتها.
