الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

وصفات معجزة

يحتوي هذا المستودع على مجموعة من الوصفات الخاصة بـ Prodigy، وهي أداة التعليقات التوضيحية القابلة للبرمجة الخاصة بنا للنصوص والصور والبيانات الأخرى. من أجل استخدام هذا الريبو، ستحتاج إلى ترخيص لـ Prodigy - راجع هذه الصفحة لمزيد من التفاصيل. للأسئلة وتقارير الأخطاء، يرجى استخدام منتدى دعم Prodigy. إذا وجدت خطأ أو خطأ، فلا تتردد في إرسال طلب سحب.

ملاحظة مهمة: الوصفات الموجودة في هذا المستودع ليست متطابقة بنسبة 100% مع الوصفات المضمنة التي يتم شحنها مع Prodigy. لقد تم تحريرها لتشمل التعليقات والمزيد من المعلومات، وتم تبسيط بعضها لتسهيل متابعة ما يجري، واستخدامها كأساس لوصفة مخصصة.

؟ الاستخدام

بمجرد تثبيت Prodigy، يجب أن تكون قادرًا على تشغيل أمر prodigy من جهازك، إما مباشرة أو عبر python -m : 

python -m prodigy

يسرد الأمر prodigy الوصفات المضمنة. لاستخدام نص وصفة مخصص، ما عليك سوى تمرير المسار إلى الملف باستخدام الوسيطة -F : 

python -m prodigy ner.teach your_dataset en_core_web_sm ./data.jsonl --label PERSON -F prodigy-recipes/ner/ner_teach.py

يمكنك أيضًا استخدام علامة --help للحصول على نظرة عامة على الوسائط المتاحة للوصفة، على سبيل المثال prodigy ner.teach -F ner_teach_.py --help .

بعض الأشياء التي يجب تجربتها

يمكنك تحرير الكود الموجود في البرنامج النصي للوصفة لتخصيص كيفية تصرف Prodigy.

  • حاول استبدال prefer_uncertain() بـ prefer_high_scores() .
  • حاول كتابة وظيفة فرز مخصصة. يحتاج فقط إلى أن يكون مولدًا ينتج سلسلة من الإملاءات example ، مع إعطاء تسلسل من الصفوف (score, example) .
  • حاول إضافة مرشح يزيل بعض الأسئلة من ساحة المشاركات. على سبيل المثال، حاول كتابة مرشح يطرح عليك أسئلة فقط حيث يتكون الكيان من كلمتين.
  • حاول تخصيص رد الاتصال update() ، ليشمل تسجيلًا إضافيًا أو وظائف إضافية.

؟ وصفات

التعرف على الكيان المسمى

وصفة وصف
ner.teach اجمع أفضل بيانات التدريب الممكنة لنموذج التعرف على الكيان المسمى مع النموذج الموجود في الحلقة. بناءً على تعليقاتك التوضيحية، سيقرر Prodigy الأسئلة التي سيتم طرحها بعد ذلك.
ner.match اقترح عبارات تتطابق مع ملف أنماط معين، وحدد ما إذا كانت أمثلة للكيان الذي تهتم به. يمكن أن يتضمن ملف الأنماط سلاسل محددة أو أنماط رمزية للاستخدام مع spaCy's Matcher .
ner.manual تمتد العلامة يدويًا بواسطة الرمز المميز. لا يتطلب سوى أداة رمزية ولا أداة التعرف على الكيانات، ولا يقوم بأي تعلم نشط. بشكل اختياري، يمتد التمييز المسبق بناءً على الأنماط.
ner.fuzzy_manual مثل ner.manual ولكن استخدم FuzzyMatcher من مكتبة spaczz لتمييز المرشحين مسبقًا.
ner.manual.bert استخدم رمز قطعة الكلمات BERT للحصول على تعليق توضيحي يدوي فعال لنماذج المحولات.
ner.correct قم بإنشاء بيانات قياسية عن طريق تصحيح تنبؤات النموذج يدويًا. هذه الوصفة كانت تسمى ner.make_gold .
ner.silver-to-gold خذ مجموعة بيانات "فضية" موجودة مع تعليقات توضيحية للقبول/الرفض الثنائي، وادمج التعليقات التوضيحية للعثور على أفضل تحليل ممكن في ضوء القيود المحددة في التعليقات التوضيحية، وقم بتحريرها يدويًا لإنشاء مجموعة بيانات "ذهبية" مثالية وكاملة.
ner.eval_ab قم بتقييم نموذجين من نماذج NER من خلال مقارنة تنبؤاتهم وبناء مجموعة تقييم من التدفق.
ner_fuzzy_manual تمتد العلامة يدويًا عن طريق الرمز المميز مع تمييز الاقتراحات من المطابقة spaczz fuzzy مسبقًا.

تصنيف النص

وصفة وصف
textcat.manual قم بإضافة تعليقات توضيحية للفئات التي تنطبق على النص يدويًا. يدعم مهام التعليقات التوضيحية بتسميات مفردة ومتعددة. يمكن اختياريًا وضع علامة على التصنيفات المتعددة على أنها حصرية.
textcat.correct قم بتصحيح تنبؤات نموذج textcat يدويًا. سيتم تحديد التوقعات التي تتجاوز حد القبول تلقائيًا (0.5 افتراضيًا). سوف يستنتج Prodigy ما إذا كان يجب أن تكون الفئات حصرية بشكل متبادل بناءً على تكوين المكون.
textcat.teach قم بتجميع أفضل بيانات التدريب الممكنة لنموذج تصنيف النص مع وجود النموذج في الحلقة. بناءً على تعليقاتك التوضيحية، سيقرر Prodigy الأسئلة التي يجب طرحها بعد ذلك.
textcat.custom-model استخدم تصنيف النص المدعوم بالتعلم النشط باستخدام نموذج مخصص. لتوضيح كيفية عملها، تستخدم هذه الوصفة التجريبية نموذجًا وهميًا بسيطًا "يتنبأ" بالنتائج العشوائية. ولكن يمكنك استبداله بأي نموذج من اختيارك، على سبيل المثال تنفيذ نموذج تصنيف النص باستخدام PyTorch أو TensorFlow أو scikit-learn.

مصطلحات

وصفة وصف
terms.teach قم بتمهيد قائمة المصطلحات مع ناقلات الكلمات ومصطلحات البذور. سوف يقترح Prodigy مصطلحات مشابهة بناءً على متجهات الكلمات، ويقوم بتحديث المتجه المستهدف وفقًا لذلك.

صورة

وصفة وصف
image.manual قم بإضافة تعليقات توضيحية يدويًا إلى الصور عن طريق رسم مربعات محيطة مستطيلة أو أشكال مضلعة على الصورة.
image-caption قم بإضافة تعليق توضيحي للصور مع التسميات التوضيحية، وقم بملء التسميات التوضيحية مسبقًا باستخدام نموذج التعليق التوضيحي للصور المطبق في PyTorch وإجراء تحليل الأخطاء.
image.frozenmodel نموذج في التعليقات التوضيحية اليدوية باستخدام Tensorflow's Object Detection API.
image.servingmodel نموذج في التعليقات التوضيحية اليدوية باستخدام Tensorflow's Object Detection API. يستخدم هذا خدمة Tensorflow
image.trainmodel نموذج في التعليقات التوضيحية والتدريبات اليدوية باستخدام Tensorflow's Object Detection API.

آخر

وصفة وصف
mark انقر خلال الأمثلة المعدة مسبقًا، مع عدم وجود نموذج في الحلقة.
choice قم بتعليق البيانات باستخدام خيارات الاختيار من متعدد. سيكون للأمثلة المشروحة خاصية إضافية "accept": [] تعيين معرف (معرفات) الخيار (الخيارات) المحددة.
question_answering قم بإضافة تعليقات توضيحية إلى أزواج الأسئلة/الإجابات باستخدام واجهة HTML مخصصة.

وصفات المجتمع

وصفة مؤلف وصف
phrases.teach @كبيرخان الآن جزء من sense2vec .
phrases.to-patterns @كبيرخان الآن جزء من sense2vec .
records.link @كبيرخان ربط السجلات عبر مجموعات بيانات متعددة باستخدام مكتبة dedupe .

وصفات تعليمية

ظهرت هذه الوصفات في أحد برامجنا التعليمية.

وصفة وصف
span-and-textcat قم بإجراء كل من التعليقات التوضيحية SPANCAT و TextCAT في نفس الوقت. رائعة لروبوتات الدردشة!
terms.from-ner إنشاء مصطلحات من التعليقات التوضيحية السابقة لـ NER.
audio-with-transcript يتعامل مع كل من التعليق الصوتي اليدوي وكذلك النسخ.
progress عرض توضيحي لرد اتصال update الذي يتتبع سرعة التعليق التوضيحي.

أمثلة على مجموعات البيانات والأنماط

لتسهيل البدء، قمنا أيضًا بتضمين بعض example-datasets ، سواء البيانات الأولية أو البيانات التي تحتوي على التعليقات التوضيحية التي تم إنشاؤها باستخدام Prodigy. للحصول على أمثلة لأنماط المطابقة القائمة على الرموز لاستخدامها مع وصفات مثل ner.teach أو ner.match ، راجع دليل example-patterns .

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل