الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

استعارة صينية

مهمة CCL 2018 المشتركة - التعرف على الاستعارة الصينية وتحليل المشاعر

وصف المهمة

  • تفاصيل المهمة: http://ir.dlut.edu.cn/news/detail/508
  • تحديث: المهمة الفرعية 1 هي مهمة من فئتين، ما عليك سوى تحديد ما إذا كانت استعارة فعلية.
  • الوقت: الموعد النهائي الساعة 9.30. يمكن لكل فريق تقديم النتائج في 9 سبتمبر و16 سبتمبر و23 سبتمبر و30 سبتمبر، اعتبارًا من الساعة 10:00 مساءً كل يوم أحد؛ ويمكن لكل فريق تقديم النتائج ثلاث مرات فقط في الأسبوع كحد أقصى، ووفقًا لآخر النتائج المقدمة، يتم احتساب النتائج تصنيف. وسيتم الإعلان عنه على الموقع الإلكتروني (http://ir.dlut.edu.cn/) قبل الساعة 5:00 مساءً أيام 10 و17 و24 سبتمبر و1 أكتوبر.
  • بيانات التدريب: http://ir.dlut.edu.cn/File/Download?cid=3 "بيانات تقييم التعرف على الاستعارة الصينية وتحليل المشاعر في CCL 2018"
  • بيانات الاختبار (بدون علامة): http://ir.dlut.edu.cn/File/Download?cid=3 "بيانات اختبار التعرف على الاستعارة الصينية وتحليل المشاعر CCL 2018"
  • تذكير: وفقًا لمتطلبات المنظم، لا يمكن استخدام مجموعة البيانات هذه إلا لمهمة التقييم هذه للاستخدامات الأخرى، يرجى الاتصال بالمنظم.

هيكل الريبو

  • /Corpus: يخزن مجموعة الاستعارات الصينية Penn StateUCMC (غير مستخدمة بعد)
  • / البيانات: بيانات التدريب والاختبار
  • / dicts: القواميس العلائقية للمهمتين الفرعيتين، وكذلك المفردات
  • /مذكرة: محضر الاجتماع
  • /model_structure: مخطط هيكلي للنموذج nn
  • / ورقة: الأدبيات ذات الصلة
  • /pretrained_emb: تضمين الكلمات المدرب مسبقًا الذي تم تنزيله من الإنترنت (استنادًا إلى ويكيبيديا)، تمت تصفيته
  • /سرك: كود
  • / النتائج: نتائج تقييم النموذج وتسميات الاختبار التي تم إنشاؤها
  • /models: تحتاج إلى إنشاء هذا المسار بنفسك، يوجد أدناه مساران فرعيان: /verb و /emo، اللذان يستخدمان لتخزين النماذج المدربة.
  • / التقديم: ملفات النتائج المرسلة، المخزنة حسب التاريخ

هيكل الكود

  1. الكود الأساسي:
    1. conf.py: قم بتعيين معلمات مختلفة
    2. multi_cgru_keras.py: بنية النموذج
    3. Train.py: تدريب النموذج على 90% من بيانات التدريب
    4. eva_model.py: تقييم أداء النموذج على 10% من بيانات التدريب
    5. generator_test_labels.py: التنبؤ بالتسميات في مجموعة الاختبار
  2. الكود المساعد:
    1. Split_data.py: قسّم مجموعة التدريب إلى 90% (للتدريب) و10% (لتقييم أداء النموذج)
    2. back_translate.py: استخدم Google Translate API لإضافة بيانات التدريب
    3. Convert_data.py: تحويل البيانات من xml إلى txt، وتحويل التسميات الرقمية إلى تسميات نصية سهلة الفهم
    4. data_provider.py: قراءة البيانات والاستعداد للتدريب
    5. filter_wordemb.py: تصفية متجهات الكلمات المدربة مسبقًا استنادًا إلى بيانات التدريب والاختبار، مع الاحتفاظ فقط بالكلمات التي تظهر في البيانات (تمت تصفية متجهات كلمات wiki الحالية)

كيفية تشغيل الكود

  1. قم بتعيين المعلمات ذات الصلة في conf.py
  2. قم بتشغيل Train.py لتدريب النموذج
  3. قم بتشغيل eva_model.py لتقييم أداء النموذج
  4. استنادًا إلى نتائج التقييم في الخطوة الثالثة، حدد النموذج ذو الأداء الأفضل واستخدم generator_test_labels لإنشاء تسميات بيانات الاختبار.

منتهي

  1. NN Baseline: استنادًا إلى CGRU، يبلغ أفضل أداء (دقة) حوالي 70% للمهمة 1 وحوالي 39% للمهمة 2.
    1. المقارنة: خط الأساس للأغلبية، المهمة 2 37%
    2. المقارنة: خط أساس ساذج يعتمد على المعجم العاطفي، بدون التعلم الآلي، المهمة 2 51%
  2. استنادًا إلى NN Bseline، جرب الميزات التالية:
    1. تحسين طبقة التضمين
      1. استخدم التضمين الذي تم تدريبه مسبقًا لاستبدال التضمين الذي تعلمه النموذج نفسه. يبلغ أفضل أداء للمهمة 2 حوالي 50%.
      2. الربط المتجه للكلمات: مدمج مع تقليل المعلمة الناعمة، ماكرو Task2 f - 39.6%
    2. ترجمة العودة
      1. ترجمة Google بـ 6 لغات، تم اختبار العديد من طرق التصفية، المهمة 2 لديها أفضل أداء بنسبة 53% تقريبًا
    3. الهياكل النموذجية الأخرى
      1. استخدم التضمين مباشرة كميزات تصنيف
      2. LSTM + متصل بالكامل: Task2 ماكرو f - 40%
  3. تحليل خطأ صغير:
    1. لقد لوحظ أن التجهيز الزائد كان خطيرًا، لذلك حاولت ضبط l2(↑)، والتسرب(↑)، والسلس(↓)، ولكن لم يتم العثور على تغييرات كبيرة في نفس الوقت، حيث وجد أن أداء نفس النموذج كان غير مستقر (قد يصل الفرق بين عمليات التشغيل المتعددة للمهمة 2 إلى 10%)
    2. بعض الحالات السيئة هي جمل ذات انتقالات (على سبيل المثال، تحتوي على كلمات مثل "كيف لا يمكن أن يكون"، "لا يمكن"، "منذ"، وما إلى ذلك)
    3. وقد وجد أن بعض التعليقات التوضيحية في البيانات كانت مشكوك فيها
  4. احصل على مجموعة الاستعارات الصينية لولاية بنسلفانيا، والتي يمكن استخدامها لتضمين الكلمات للتدريب الذاتي
  5. مجموعة التدريب التكميلي: استخدم مجموعة إنجليزية أخرى لترجمتها مرة أخرى لتكملة مجموعة التدريب
  6. ضبط المعلمات

Todolist

  1. جرب المزيد من الميزات بناءً على خط الأساس NN:
    1. استمر في تحسين طبقة التضمين
      1. استخدم عمليات التضمين الأخرى المدربة مسبقًا: على سبيل المثال، التضمين الذي تم تدريبه على مجموعة استعارات ولاية بنسلفانيا، أو تضمين ELMo، وما إلى ذلك.
    2. أضف المفردات العاطفية إلى nn:
      1. تضمين التسميات: يتم استخدام الطريقة الحالية فقط للتسميات ذات العلاقات التقدمية (سلبية جدًا، سلبية، محايدة، موضعية، موضعية جدًا)
    3. فئة فرعية من الأفعال والأسماء
    4. علاقة التبعية
    5. من خلال ملاحظة البيانات، قم بفحص دور الكلمات الوظيفية في المهمتين الفرعيتين، ثم حدد المعلومات المتعلقة بالكلمات الوظيفية التي تريد إضافتها إلى النموذج. الكلمات الوظيفية: ما نوع المعلومات المفيدة؟
  2. جرب هياكل نموذجية أخرى:
    1. (راجع المقالة "خط الأساس يحتاج إلى المزيد من الحب: حول النماذج البسيطة المستندة إلى تضمين الكلمات وآليات التجميع المرتبطة بها")
    2. استخدم المحول كمشفر للجمل (راجع المقالة "الانتباه هو كل ما تحتاجه")

موارد

  1. مجموعة الاستعارات الصينية لولاية بنسلفانيا (http://www.personal.psu.edu/xxl13/download.html)
  2. مكتبة الوجود لمفردات العواطف بجامعة داليان للتكنولوجيا (http://ir.dlut.edu.cn/EmotionOntologyDownload)

منظم

مختبر أبحاث استرجاع المعلومات بجامعة داليان للتكنولوجيا

  • البريد الإلكتروني: لين هونغفي [email protected]
  • مجموعة QQ: 604185567
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل