TEXTOIR

التعرف على النوايا المفتوحة للنص (TEXTOIR)

TEXTOIR هي أول منصة عالية الجودة للتعرف على النص المفتوح. يحتوي هذا الريبو على مجموعة أدوات ملائمة ذات واجهات قابلة للتوسيع، تدمج سلسلة من الخوارزميات الحديثة لمهمتين (اكتشاف النية المفتوحة واكتشاف النية المفتوحة). قمنا أيضًا بإصدار إطار عمل خط الأنابيب والمنصة المرئية في الريبو TEXTOIR-DEMO.

مقدمة

يهدف TEXTOIR إلى توفير مجموعة أدوات ملائمة للباحثين لإعادة إنتاج طرق التصنيف والتجميع المفتوحة للنصوص ذات الصلة. يحتوي على مهمتين، يتم تعريفهما على أنهما اكتشاف النية المفتوحة واكتشاف النية المفتوحة. يهدف الكشف عن النية المفتوحة إلى تحديد النوايا المعروفة من الفئة n، واكتشاف النية المفتوحة من الفئة الواحدة. يهدف اكتشاف النية المفتوحة إلى الاستفادة من المعرفة المسبقة المحدودة بالنوايا المعروفة للعثور على مجموعات النوايا المعروفة والمفتوحة الدقيقة. يتم جمع الأوراق والرموز ذات الصلة في قائمة القراءة الصادرة سابقًا.

فتح التعرف على النوايا:

التحديثات

تاريخ	إعلانات
12/2023	؟ ؟ ورقة جديدة وSOTA في اكتشاف النية المفتوحة. ارجع إلى دليل USNID للحصول على الرموز. اقرأ الورقة - إطار عمل تجميعي لاكتشاف النوايا الجديدة غير الخاضعة للإشراف وشبه الخاضعة للإشراف (منشور في IEEE TKDE 2023).
04/2023	؟ ؟ ورقة جديدة وSOTA في الكشف عن النية المفتوحة. ارجع إلى دليل DA-ADB للحصول على الرموز. اقرأ الورقة - تعلم التمثيلات التمييزية وحدود القرار للكشف عن النية المفتوحة (منشور في IEEE/ACM TASLP 2023).
09/2021	؟ ؟ تم إطلاق أول منصة متكاملة ومرئية للنص Open Intent Recognition TEXTOIR. ارجع إلى دليل TEXTOIR-DEMO للحصول على الرموز التجريبية. اقرأ ورقتنا TEXTOIR: منصة متكاملة ومرئية للتعرف على النوايا المفتوحة للنص (منشورة في ACL 2021).
05/2021	تم إصدار ورقة بحثية وخطوط أساسية جديدة DeepAligned في Open Intent Discovery. اقرأ مقالتنا "اكتشاف نوايا جديدة باستخدام المجموعات الانحيازية العميقة" (المنشور في AAAI 2021).
05/2021	تم إصدار ورقة جديدة وخطوط أساس ADB في الكشف عن النية المفتوحة. اقرأ ورقتنا "تصنيف النوايا العميقة المفتوحة مع حدود القرار التكيفي" (المنشور في AAAI 2021).
05/2020	تم إصدار ورقة بحثية جديدة وخطوط الأساس CDAC+ في Open Intent Discovery. اقرأ مقالتنا "اكتشاف نوايا جديدة عبر التجميع المتكيف العميق المقيد مع تحسين المجموعة" (المنشور في AAAI 2020).
07/2019	تم إصدار ورقة بحثية وخطوط أساسية جديدة DeepUNK في Open Intent Detection. اقرأ مقالتنا "الكشف العميق عن النوايا غير المعروفة مع خسارة الهامش" (المنشور في ACL 2019).

---

نوصيك بشدة باستخدام مجموعة أدوات TEXTOIR الخاصة بنا، والتي تحتوي على واجهات قياسية وموحدة (خاصة إعداد البيانات) للحصول على نتائج عادلة وقابلة للإقناع على مجموعات بيانات النوايا المعيارية!

مجموعات البيانات المعيارية

مجموعات البيانات	مصدر
الخدمات المصرفية	ورق
أو أو إس / كلينك150	ورق
StackOverflow	ورق

نماذج متكاملة

فتح الكشف عن النية

اسم النموذج	مصدر	تم النشر
اوبن ماكس*	كود الورق	سي في بي آر 2016
MSP	كود الورق	المؤتمر الدولي للبحوث الزراعية 2017
وثيقة	كود الورق	إي إم إن إل بي 2017
DeepUnk	كود الورق	دوري أبطال آسيا 2019
سيج	كود الورق	دوري أبطال آسيا 2020
بنك التنمية الآسيوي	كود الورق	AAAI 2021
(ك+1)-الطريق	كود الورق	دوري أبطال آسيا 2021
يمول	كود الورق	دوري أبطال آسيا 2021
ARPL*	كود الورق	معهد مهندسي الكهرباء والإلكترونيات TPAMI 2022
KNNCL	كود الورق	دوري أبطال آسيا 2022
دا-بنك التنمية الآسيوي	كود الورق	IEEE/ACM TASLP 2023

اكتشاف نية جديدة

جلسة	اسم النموذج	مصدر	تم النشر
غير خاضعة للرقابة	كم	ورق	بي إس إم إس بي 1967
غير خاضعة للرقابة	اي جي	ورق	العلاقات العامة 1978
غير خاضعة للرقابة	ساي-كم	ورق	جملر 2010
غير خاضعة للرقابة	ديسمبر	كود الورق	آي سي إم إل 2016
غير خاضعة للرقابة	DCN	كود الورق	آي سي إم إل 2017
غير خاضعة للرقابة	نسخة	كود الورق	AAAI 2021
غير خاضعة للرقابة	SCCL	كود الورق	ناكل 2021
غير خاضعة للرقابة	USNID	كود الورق	آي إي إي تي كي دي إي 2023
شبه خاضعة للرقابة	بوكل*	كود الورق	المؤتمر الدولي للبحوث الزراعية 2018
شبه خاضعة للرقابة	خط التحكم الرئيسي*	كود الورق	المؤتمر الدولي للبحوث الزراعية 2019
شبه خاضعة للرقابة	DTC*	كود الورق	اي سي سي في 2019
شبه خاضعة للرقابة	كداك +	كود الورق	AAAI 2020
شبه خاضعة للرقابة	ديب الانحياز	كود الورق	AAAI 2021
شبه خاضعة للرقابة	جي سي دي	كود الورق	سي في بي آر 2022
شبه خاضعة للرقابة	الخطة المتوسطة الأجل-CLNN	كود الورق	دوري أبطال آسيا 2022
شبه خاضعة للرقابة	USNID	كود الورق	آي إي إي تي كي دي إي 2023

(* يشير إلى نموذج السيرة الذاتية الذي تم استبداله بالعمود الفقري BERT)

بداية سريعة

1. استخدم اناكوندا لإنشاء بيئة Python (الإصدار> = 3.6).

 conda create --name textoir python=3.6
conda activate textoir

2. تثبيت PyTorch (إصدار Cuda 11.2)

 conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c pytorch -c conda-forge  

3. انسخ مستودع TEXTOIR، واختر المهمة (خذ الكشف عن النية المفتوحة كمثال).

 git clone [email protected]:thuiar/TEXTOIR.git
cd TEXTOIR
cd open_intent_detection

4. تثبيت التبعيات البيئية ذات الصلة

 pip install -r requirements.txt

5. تشغيل الأمثلة (خذ ADB كمثال)

 sh examples/run_ADB.sh

• لاحظ أنه إذا لم تتمكن من تنزيل النموذج المُدرب مسبقًا مباشرةً من محولات HuggingFace، فستحتاج إلى تنزيله بنفسك. ونقدم نموذج بيرت المدرب مسبقا في الرابط التالي:
  Baidu Cloud Drive مع الكود: v8tk

القابلية للتوسعة

مجموعة الأدوات هذه قابلة للتوسيع وتدعم إضافة أساليب ومجموعات بيانات وتكوينات وأعمدة فقرية وأدوات تحميل بيانات وخسائر جديدة بسهولة. يمكن رؤية المزيد من المعلومات التفصيلية في البرامج التعليمية للدلائل open_intent_detection وopen_intent_discovery.

الاستشهادات

إذا كان هذا العمل مفيدًا، أو كنت تريد استخدام الرموز والنتائج الموجودة في هذا الريبو، فيرجى الاستشهاد بالأوراق التالية:

• TEXTOIR: منصة متكاملة ومرئية للتعرف على النوايا المفتوحة للنص
• تعلم التمثيلات التمييزية وحدود القرار لاكتشاف النوايا المفتوحة
• إطار عمل تجميعي لاكتشاف النوايا الجديدة غير الخاضعة للرقابة وشبه الخاضعة للإشراف

 @inproceedings{zhang-etal-2021-textoir,
    title = "{TEXTOIR}: An Integrated and Visualized Platform for Text Open Intent Recognition",
    author = "Zhang, Hanlei  and Li, Xiaoteng  and Xu, Hua  and Zhang, Panpan and Zhao, Kang  and Gao, Kai",
    booktitle = "Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations",
    pages = "167--174",
    year = "2021",
    url = "https://aclanthology.org/2021.acl-demo.20",
    doi = "10.18653/v1/2021.acl-demo.20",
}

 @article{DA-ADB, 
    title = {Learning Discriminative Representations and Decision Boundaries for Open Intent Detection},  
    author = {Zhang, Hanlei and Xu, Hua and Zhao, Shaojie and Zhou, Qianrui}, 
    journal = {IEEE/ACM Transactions on Audio, Speech, and Language Processing},  
    volume = {31},
    pages = {1611-1623},
    year = {2023}, 
    doi = {10.1109/TASLP.2023.3265203} 
} 

 @ARTICLE{USNID,
  author={Zhang, Hanlei and Xu, Hua and Wang, Xin and Long, Fei and Gao, Kai},
  journal={IEEE Transactions on Knowledge and Data Engineering}, 
  title={A Clustering Framework for Unsupervised and Semi-supervised New Intent Discovery}, 
  year={2023},
  doi={10.1109/TKDE.2023.3340732}
} 

المساهمين

هانلي تشانغ، شاوجي تشاو، شين وانغ، تينغ إن لين، تشيانروي تشو، هويشينغ ماو.

البق أو الأسئلة؟

إذا كان لديك أي أسئلة، يرجى فتح القضايا وتوضيح مشاكلك بالتفصيل قدر الإمكان. إذا كنت تريد دمج طريقتك في الريبو الخاص بنا، فلا تتردد في سحب الطلب !