تنزيل LAUG - تنزيل كود مصدر LAUG

LAUG

شفرة المصدر الأخرى

1.0.0

تنزيل

اضحك

LAUG عبارة عن مجموعة أدوات مفتوحة المصدر لتعزيز فهم اللغة. إنها طريقة تلقائية لتقريب الاضطرابات الطبيعية للبيانات الموجودة. يمكن استخدام البيانات المعززة لإجراء اختبار قوة الصندوق الأسود أو تعزيز التدريب. [ورق]

اضحك
- تثبيت
- طرق التعزيز
- مجموعات البيانات المدعومة
- نماذج NLU
- نقلا عن
- رخصة

تثبيت

تتطلب بيثون 3.6.

استنساخ هذا المستودع:

git clone https://github.com/thu-coai/LAUG.git

التثبيت عبر النقطة:

 cd LAUG
pip install -e .

تنزيل البيانات والنماذج:

البيانات المستخدمة في ورقتنا ومعلمات النماذج التي تم تدريبها مسبقًا من قبلنا متاحة على الرابط. يرجى تنزيلها ووضعها في الدليل المقابل. للتعرف على معلمات النموذج التي أصدرها الآخرون، يرجى الرجوع إلى README.md ضمن توجيهات كل طريقة زيادة مثل LAUG/aug/Speech_Recognition/README.md .

طرق التعزيز

فيما يلي طرق التعزيز الأربعة الموضحة في ورقتنا. يتم وضعها تحت LAUG/aug dir.

اضطراب الكلمات (WP)، في Word_Perturbation/ دير.
إعادة صياغة النص (TP)، في Text_Paraphrasing/ dir.
التعرف على الكلام (SR)، في Speech_Recognition/ دير.
اختلال طلاقة الكلام (SD)، عند Speech_Disfluency/ dir.

يرجى الاطلاع على ورقتنا وREADME.md في كل طريقة زيادة للحصول على معلومات مفصلة.

راجع demo.py لاستخدام طرق التعزيز هذه.

python demo.py

مع ملاحظة أن أساليب التعزيز لدينا تحتوي على العديد من النماذج العصبية، يجب تنزيل المعلمات المدربة مسبقًا قبل الاستخدام. المعلمات التي تم تدريبها مسبقًا من قبلنا متاحة على الرابط. بالنسبة للمعلمات التي أصدرها الآخرون، يرجى اتباع تعليمات كل طريقة.

مجموعات البيانات المدعومة

البيانات المستخدمة في ورقتنا متاحة على الرابط. يرجى تنزيله ووضعه data/ dir.

تحتوي بياناتنا على مجموعتي بيانات: MultiWOZ والإطارات، بالإضافة إلى نسخها المعززة.

MultiWOZ
- البيانات الأصلية
  - نحن نستخدم MultiWOZ 2.3 كبيانات أصلية. نضعه في data/multiwoz/ dir.
  - حجم القطار/فال/الاختبار: 8434/999/1000 مربع حوار.
  - رخصة:
- البيانات المعززة
  - لدينا 4 مجموعات اختبار معززة:
    - WP (اضطراب الكلمات)، الحجم: 1000، موضوع في data/multiwoz/WP .
    - TP (إعادة صياغة النص)، الحجم: 1000، موضوع في data/multiwoz/TP .
    - SR (اضطراب الكلام)، الحجم: 1000، موضوع في data/multiwoz/SR .
    - SD (اختلال طلاقة الكلام)، الحجم: 1000، موضوع في data/multiwoz/SD .
  - لدينا مجموعة تدريب واحدة معززة:
    - الحجم: 16868، يحتوي على: 50%Original+(12.5%WP+12.5%TP+12.5%SR+12.5%SD)، موضوعة في data/multiwoz/Enhanced .
- بيانات تقييم المستخدم الحقيقية:
  - لقد جمعنا 240 عبارة من مستخدمين حقيقيين لتقييم المستخدم الحقيقي لدينا.
  - نضعه في data/multiwoz/Real dir.
  - يرجى الاطلاع على ورقتنا للحصول على معلومات مفصلة حول الإحصاءات وجمع البيانات الحقيقية.
إطارات
- البيانات الأصلية
  - نقوم بمعالجة الإطارات بنفس تنسيق MultiWOZ ووضعها في data/Frames/ dir.
  - حجم القطار/فال/الاختبار: 1095/137/137 مربع حوار.
  - رخصة:
- البيانات المعززة
  - لدينا 4 مجموعات اختبار معززة:
    - WP (اضطراب الكلمات)، الحجم: 137، موضوع في data/Frames/WP .
    - TP (إعادة صياغة النص)، الحجم: 137، موضوع في data/Frames/TP .
    - SR (اضطراب الكلام)، الحجم: 137، موضوع في data/Frames/SR .
    - SD (اختلال طلاقة الكلام)، الحجم: 137، موضوع في data/Frames/SD .
  - لدينا مجموعة تدريب واحدة معززة:
    - الحجم: 2190، يحتوي على: 50%Original+(12.5%WP+12.5%TP+12.5%SR+12.5%SD)، موضوعة في data/Frames/Enhanced .

نماذج NLU

نحن نقدم أربعة نماذج NLU الأساسية الموضحة في ورقتنا:

ميلو
بيرت
كوبي نت
جي بي تي-2

هذه النماذج مقتبسة من ConvLab-2. لمزيد من التفاصيل، يمكنك الرجوع إلى README.md ضمن LUAG/nlu/$model/$dataset dir مثل LAUG/nlu/gpt/multiwoz/README.md .

نقلا عن

إذا كنت تستخدم LAUG في بحثك، يرجى ذكر ما يلي:

 @inproceedings{liu2021robustness,
    title={Robustness Testing of Language Understanding in Task-Oriented Dialog},
    author={Liu, Jiexi and Takanobu, Ryuichi and Wen, Jiaxin and Wan, Dazhen and Li, Hongguang and Nie, Weiran and Li, Cheng and Peng, Wei and Huang, Minlie},
    year={2021},
    booktitle={Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics},
}