spacy transformers

محولات Spacy: استخدم محولات PretRained مثل Bert و XLNET و GPT-2 في Spacy

توفر هذه الحزمة مكونات ومكونات SPACY لاستخدام نماذج المحولات عبر transformers Hugging Face في Spacy. والنتيجة هي الوصول المناسب إلى هيكل المحولات الحديثة ، مثل BERT ، GPT-2 ، XLNET ، إلخ.

يتطلب هذا الإصدار Spacy V3. للاطلاع على الإصدار السابق من هذه المكتبة ، راجع فرع v0.6.x

سمات

• استخدم نماذج المحولات المسبقة مثل Bert و Roberta و XLNET لتشغيل خط أنابيب Spacy الخاص بك.
• التعلم متعدد المهام سهل: backprop إلى نموذج محول واحد من عدة مكونات خطوط الأنابيب.
• تدريب باستخدام نظام التكوين القوي والقابل للتمديد لـ Spacy V3.
• المحاذاة التلقائية لإخراج المحول إلى رمز Spacy.
• تخصيص ما يتم حفظ بيانات المحولات بسهولة في كائن Doc .
• تخصيص بسهولة المدة التي تتم معالجة المستندات.
• التسلسل خارج الصندوق وتغليف النماذج.

تثبيت

سيقوم تثبيت الحزمة من PIP بتثبيت جميع التبعيات تلقائيًا ، بما في ذلك Pytorch و Spacy. تأكد من تثبيت هذه الحزمة قبل تثبيت النماذج. لاحظ أيضًا أن هذه الحزمة تتطلب Python 3.6+ و Pytorch v1.5+ و Spacy V3.0+ .

pip install ' spacy[transformers] '

لتثبيت GPU ، ابحث عن إصدار CUDA الخاص بك باستخدام nvcc --version وأضف الإصدار بين قوسين ، على سبيل المثال spacy[transformers,cuda92] لـ CUDA9.2 أو spacy[transformers,cuda100] لـ CUDA10.0.

إذا كنت تواجه مشكلة في تثبيت Pytorch ، فاتبع التعليمات على الموقع الرسمي لنظام التشغيل والمتطلبات المحددة الخاصة بك.

الوثائق

️ ملاحظة مهمة: تم إعادة تمهيد هذه الحزمة على نطاق واسع للاستفادة من Spacy V3.0. عملت الإصدارات السابقة التي تم بناؤها لـ Spacy v2.x بشكل مختلف إلى حد كبير. يرجى الاطلاع على الإصدارات السابقة الموسومة من هذه القراءة للوثائق على الإصدارات السابقة.

• التضمينات والمحولات والتعلم النقل: كيفية استخدام المحولات في Spacy
• خطوط الأنابيب والنماذج: تدريب وتحديث المكونات على بياناتك ودمج النماذج المخصصة
• الطبقات والبنية النموذجية: مكونات Power Spacy مع شبكات عصبية مخصصة
• ؟ Transformer : مرجع API مكون خط الأنابيب
• ؟ بنيات المحولات: البنى والوظائف المسجلة

تطبيق نماذج تصنيف النص والرمز المميز

لاحظ أن مكون transformer من spacy-transformers لا يدعم رؤوس المهمة الخاصة مثل الرمز المميز أو تصنيف النص. يمكن استخدام نموذج محول خاص بالمهمة كمصدر للميزات لتدريب مكونات Spacy مثل ner أو textcat ، لكن مكون transformer لا يوفر الوصول إلى رؤوس خاصة بالمهمة للتدريب أو الاستدلال.

بدلاً من ذلك ، إذا كنت ترغب فقط في الاستخدام للتنبؤات من نموذج النص المعانقة أو نموذج تصنيف الرمز المميز ، فيمكنك استخدام الأغلفة من spacy-huggingface-pipelines لدمج نماذج المحولات الخاصة بالمهمة في خطوط أنابيب Spacy الخاصة بك.

تقارير الأخطاء وغيرها من القضايا

يرجى استخدام Tracker من Spacy لإبلاغ خطأ ، أو فتح موضوع جديد على لوحة المناقشة لأي مشكلة أخرى.