PLMPapers

أوراق PLM

ساهم بها شياو لي وانغ

حققت النماذج اللغوية واسعة النطاق المدربة مسبقًا (PLMs) مثل BERT وGPT نجاحًا كبيرًا وأصبحت علامة بارزة في البرمجة اللغوية العصبية.

في هذا الريبو، قمنا بجمع بعض أوراق PLM التمثيلية في السنوات الأخيرة بناءً على عدد الاستشهادات والأبحاث المنشورة في أحدث المؤتمرات الكبرى (على سبيل المثال، ACL، EMNLP، ICLR، ICML، NeurIPS).

سنحافظ على تحديث الريبو ونرحب بطلبات السحب والمشكلات! شكرا لنجومك وشوكك!

جدول المحتويات

• استطلاع
• المعيار
• تصميم بي إل إم
  • عام
  • معرفة
  • متعدد اللغات
  • متعدد الوسائط
  • استرجاع المعلومات
  • شفرة
  • آحرون
• تحليل بي إل إم
  • معرفة
  • المتانة
  • متناثرة
  • آحرون
• كفاءة إدارة دورة حياة المنتج (PLM).
  • تمرين
  • الاستدلال
  • ضغط
• التكيف مع إدارة دورة حياة المنتج (PLM).
  • مرحلتين
  • متعددة المهام
  • محول
  • اِسْتَدْعَى
  • آحرون

استطلاع

1. “نماذج مدربة مسبقًا لمعالجة اللغة الطبيعية: دراسة استقصائية”. Science China Technological Sciences(2020) [PDF]
2. “ما هو * BERT؟ مسح لتنظيم التشفير السياقي “. EMNLP(2020) [PDF]
3. “كتاب تمهيدي في بيرتولوجي: ما نعرفه عن كيفية عمل بيرت”. TACL(2020) [PDF]
4. “من تمثيلات الكلمات الثابتة إلى الديناميكية: استطلاع”. International Journal of Machine Learning and Cybernetics(2020) [PDF]
5. “نظرة عامة على النماذج المعتمدة على المحولات لمهام البرمجة اللغوية العصبية”. 2020 15th Conference on Computer Science and Information Systems (FedCSIS) [PDF]
6. “مسح حول التضمين السياقي”. arXiv(2020) [PDF]
7. “كتاب الطبخ البرمجة اللغوية العصبية: وصفات حديثة لبنيات التعلم العميق القائمة على المحولات”. IEEE Access(2021) [PDF]
8. “النماذج المدربة مسبقًا: الماضي والحاضر والمستقبل”. arXiv(2021) [PDF]
9. “التدريب المسبق والتوجيه والتنبؤ: مسح منهجي للطرق السريعة في معالجة اللغات الطبيعية”. arXiv(2021) [PDF]
10. “AMMUS: دراسة استقصائية للنماذج المدربة مسبقًا القائمة على المحولات في معالجة اللغات الطبيعية”. arXiv(2021) [PDF]
11. “حول فرص ومخاطر نماذج الأساس”. arXiv(2021) [PDF]
12. “التحول النموذجي في معالجة اللغات الطبيعية”. arXiv(2021) [PDF]
13. “التطورات الحديثة في معالجة اللغات الطبيعية عبر نماذج لغوية كبيرة مدربة مسبقًا: دراسة استقصائية”. arXiv(2021) [PDF]

المعيار

1. XNLI : “XNLI: تقييم تمثيلات الجملة عبر اللغات”. EMNLP(2018) [PDF] [مجموعة البيانات]
2. GLUE : "GLUE: منصة تحليلية ومعيارية متعددة المهام لفهم اللغة الطبيعية". ICLR(2019) [الصفحة الرئيسية]
3. SuperGLUE : “SuperGLUE: معيار أكثر ثباتًا لأنظمة فهم اللغة ذات الأغراض العامة”. NeurIPS(2019) [الصفحة الرئيسية]
4. فكرة : “فكرة: معيار تقييم فهم اللغة الصينية”. COLING(2020) [الصفحة الرئيسية]
5. XTREME : “XTREME: معيار متعدد المهام متعدد اللغات لتقييم التعميم عبر اللغات”. ICML(2020) [الصفحة الرئيسية]
6. XGLUE : “XGLUE: مجموعة بيانات مرجعية جديدة للتدريب المسبق والفهم والجيل عبر اللغات”. EMNLP(2020) [الصفحة الرئيسية]
7. DialoGLUE : "DialoGLUE: معيار فهم اللغة الطبيعية للحوار الموجه نحو المهام". arXiv(2020) [الصفحة الرئيسية]

تصميم بي إل إم

عام

1. GPT : "تحسين فهم اللغة من خلال التدريب المسبق التوليدي". OpenAI(2018) [مشروع]
2. GPT-2 : "نماذج اللغة هي متعلمون متعددو المهام غير خاضعين للرقابة". OpenAI(2019) [مشروع]
3. بيرت : "بيرت: التدريب المسبق للمحولات العميقة ثنائية الاتجاه لفهم اللغة". NAACL(2019) [PDF] [الكود]
4. XLNet : "XLNet: التدريب المسبق المعمم على الانحدار الذاتي لفهم اللغة". NeurIPS(2019) [PDF] [الكود]
5. SBERT : "الجملة-بيرت: تضمين الجملة باستخدام شبكات بيرت السيامية". ACL(2019) [PDF] [الكود]
6. UniLM : "التدريب المسبق لنموذج اللغة الموحدة لفهم اللغة الطبيعية وتوليدها". NeurIPS(2019) [PDF] [الكود]
7. MASS : "MASS: التسلسل المقنع إلى التسلسل المسبق للتدريب على توليد اللغة". ICML(2019) [PDF] [الكود]
8. Chinese-BERT-wwm : "التدريب المسبق مع إخفاء الكلمات الكاملة لـ BERT الصيني". arXiv(2019) [PDF] [الكود]
9. “التدريب المسبق القائم على Cloze لشبكات الاهتمام الذاتي”. EMNLP(2019) [PDF]
10. “بيرت لديه فم، ويجب أن يتكلم: بيرت كنموذج لغة ماركوف العشوائية”. Workshop on Methods for Optimizing and Evaluating Neural Language Generation(2019) [PDF] [الكود]
11. GPT-3 : "نماذج اللغة هي عدد قليل من المتعلمين". NeurIPS(2020) [PDF] [الكود]
12. T5 : "استكشاف حدود نقل التعلم باستخدام محول نص إلى نص موحد". JMLR(2020) [PDF] [الكود]
13. بارت : “بارت: تقليل الضوضاء من تسلسل إلى تسلسل ما قبل التدريب لتوليد اللغة الطبيعية والترجمة والفهم”. ACL(2020) [PDF] [الكود]
14. المشفرات المتعددة : "المشفرات المتعددة: البنى واستراتيجيات التدريب المسبق للحصول على نقاط سريعة ودقيقة متعددة الجمل". ICLR(2020) [PDF]
15. سبانبيرت : "سبانبيرت: تحسين التدريب المسبق من خلال تمثيل المسافات والتنبؤ بها". TACL(2020) [PDF] [الكود]
16. إرني 2.0 : “إرني 2.0: إطار تدريب مسبق مستمر لفهم اللغة”. AAAI(2020) [PDF] [الكود]
17. سمبيرت : "علم الدلالات بيرت لفهم اللغة". AAAI(2020) [PDF] [الكود]
18. “الاستفادة من نقاط التفتيش المدربة مسبقًا لمهام إنشاء التسلسل”. TACL(2020) [PDF] [الكود]
19. ProphetNet : "ProphetNet: التنبؤ بالمستقبل N-gram للتدريب المسبق من تسلسل إلى تسلسل". EMNLP(2020) [PDF]
20. UniLMv2 : "UniLMv2: نماذج اللغة المقنعة الزائفة للتدريب المسبق لنموذج اللغة الموحدة". ICML(2020) [PDF] [الكود]
21. MacBERT : “إعادة النظر في النماذج المدربة مسبقًا لمعالجة اللغة الطبيعية الصينية”. EMNLP(2020) [PDF] [الكود]
22. MPNet : “MPNet: تدريب مسبق مقنع ومُبدل لفهم اللغة”. arXiv(2020) [PDF] [الكود]
23. ديبرتا : “ديبرتا: بيرت المعزز لفك التشفير مع الاهتمام المنفصل”. ICLR(2021) [PDF] [الكود]
24. PALM : "PALM: التدريب المسبق على نموذج لغة الترميز التلقائي والانحدار التلقائي للجيل المكيف بالسياق". EMNLP(2020) [PDF]
25. أوبتيموس : "أوبتيموس: تنظيم الجمل عبر النمذجة المدربة مسبقًا للمساحة الكامنة". EMNLP(2020) [PDF] [الكود]
26. “التدريب الذاتي يحسن التدريب المسبق لفهم اللغة الطبيعية”. NAACL(2021) [PDF] [الكود]
27. CAPT : "إعادة التفكير في التشفير التلقائي المنقوص في التدريب المسبق للغة". EMNLP(2021) [PDF]
28. “بدائل التدريب المسبق البسيطة المحبطة لنمذجة اللغة المقنعة”. EMNLP(2021) [PDF] [الكود]
29. “الالتفافات والاهتمام الذاتي: إعادة تفسير المواقف النسبية في نماذج اللغة المدربة مسبقًا”. ACL(2021) [PDF] [الكود]
30. ERNIE-Doc : “ERNIE-Doc: محول نمذجة المستندات الطويلة بأثر رجعي”. ACL(2021) [PDF] [الكود]
31. “التمثيل العالمي للغة قبل التدريب”. ACL(2021) [PDF] [الكود]

معرفة

1. إرني (بايدو) : "إرني: التمثيل المعزز من خلال تكامل المعرفة". arXiv(2019) [PDF] [الكود]
2. KnowBert : "تمثيلات الكلمات السياقية المحسنة للمعرفة". EMNLP(2019) [PDF]
3. إرني (تسينغهوا) : “إرني: تمثيل اللغة المحسن مع الكيانات الإعلامية”. ACL(2019) [PDF] [الكود]
4. المذنب : “المذنب: المحولات المنطقية لبناء الرسم البياني المعرفي التلقائي”. ACL(2019) [PDF] [الكود]
5. K-BERT : "K-BERT: تمكين تمثيل اللغة باستخدام الرسم البياني المعرفي". AAAI(2020) [PDF] [الكود]
6. WKLM : “الموسوعة المدربة مسبقًا: نموذج اللغة المدرب مسبقًا للمعرفة الخاضعة للإشراف الضعيف”. ICLR(2020) [PDF]
7. لوقا : “لوك: تمثيلات الكيان العميقة ذات السياق مع الاهتمام الذاتي المدرك للكيان”. EMNLP(2020) [PDF] [الكود]
8. K-Adapter : "K-Adapter: غرس المعرفة في النماذج المدربة مسبقًا باستخدام المحولات". ICLR(2021) [PDF]
9. كيبلر : “كيبلر: نموذج موحد لتضمين المعرفة وتمثيل اللغة المدربة مسبقًا”. TACL(2021) [PDF] [الكود]
10. RuleBERT : "RuleBERT: تدريس القواعد الناعمة لنماذج اللغة المدربة مسبقًا". EMNLP(2021) [PDF] [الكود]
11. BeliefBank : "استكشاف دور تمثيلات BERT الرمزية لشرح نتائج فحص الجملة". EMNLP(2021) [PDF] [الكود]
12. عبارة-BERT : "العبارة-BERT: تضمينات محسنة للعبارات من BERT مع تطبيق لاستكشاف المجموعة". EMNLP(2021) [PDF] [الكود]
13. “نموذج مُدرب مسبقًا مُحسّن لبناء الجملة”. ACL(2021) [PDF] [الكود]
14. StructFormer : “StructFormer: الحث المشترك غير الخاضع للرقابة للتبعية وبنية الدائرة الانتخابية من نمذجة اللغة المقنعة”. ACL(2021) [PDF]
15. إيريكا : "إيريكا: تحسين فهم الكيان والعلاقات لنماذج اللغة المدربة مسبقًا عبر التعلم المتباين". ACL(2021) [PDF] [الكود]
16. “التوجيه الهيكلي لنماذج لغة المحولات”. ACL(2021) [PDF] [الكود]
17. الدبور : “الدبور: إثراء التمثيلات اللغوية المدربة مسبقًا بمصادر المعرفة غير المتجانسة”. CIKM(2021) [PDF]
18. “إسقاط التكرار، تقليص غير ذي صلة: حقن المعرفة الانتقائية للتدريب المسبق على اللغة”. IJCAI(2021) [PDF]

متعدد اللغات

1. XLM : "التدريب المسبق لنموذج اللغة عبر اللغات". arXiv(2019) [PDF] [الكود]
2. “تضمين جمل متعددة اللغات على نطاق واسع للنقل عبر اللغات بدون لقطة وما بعدها”. TACL(2019) [PDF] [الكود]
3. UDify : “75 لغة، نموذج واحد: تحليل التبعيات العالمية عالميًا”. EMNLP(2019) [PDF] [الكود]
4. Unicoder : "Unicoder: برنامج تشفير عالمي للغة من خلال التدريب المسبق على المهام المتعددة اللغات". EMNLP(2019) [PDF]
5. XLM-R : “تعلم التمثيل عبر اللغات غير الخاضع للرقابة على نطاق واسع”. ACL(2020) [PDF]
6. “محاذاة متعددة اللغات لتمثيلات الكلمات السياقية”. ICLR(2020) [PDF]
7. mBART : "التدريب المسبق لتقليل الضوضاء متعدد اللغات للترجمة الآلية العصبية". TACL(2020) [PDF] [الكود]
8. mT5 : "mT5: محول نص إلى نص مدرب مسبقًا ومتعدد اللغات". NAACL(2021) [PDF] [الكود]
9. InfoXLM : "InfoXLM: إطار عمل نظري للمعلومات للتدريب المسبق لنموذج اللغة عبر اللغات". NAACL(2021) [PDF] [الكود]
10. “تخصيص سعة مفردات كبيرة للتدريب المسبق لنموذج اللغة المتعددة اللغات”. EMNLP(2021) [PDF] [الكود]
11. ERNIE-M : “ERNIE-M: تمثيل متعدد اللغات مُحسّن من خلال محاذاة الدلالات بين اللغات مع المجسمات أحادية اللغة”. EMNLP(2021) [PDF] [الكود]
12. “طريقة هندسية بسيطة للتحولات اللغوية عبر اللغات باستخدام أجهزة التشفير التلقائية المدربة مسبقًا”. EMNLP(2021) [PDF]
13. “تعزيز النقل بين اللغات عبر التعلم الذاتي مع تقدير عدم اليقين”. EMNLP(2021) [PDF]
14. “ما مدى جودة برنامج الرمز المميز الخاص بك؟ حول الأداء أحادي اللغة لنماذج اللغات متعددة اللغات “. ACL(2021) [PDF] [الكود]
15. “التدريب المسبق متعدد اللغات مع تعلم التبعية العالمي”. NeurIPS(2021) [PDF]

متعدد الوسائط

1. ViLBERT : “ViLBERT: التدريب المسبق على التمثيلات اللغوية البصرية غير الملحدة للمهام لمهام الرؤية واللغة”. NeuralIPS(2019) [PDF]
2. LXMERT : "LXMERT: تعلم تمثيلات التشفير عبر الوسائط من المحولات". EMNLP(2019) [PDF] [الكود]
3. VideoBERT : "VideoBERT: نموذج مشترك لتعلم تمثيل الفيديو واللغة" ICCV(2019) [PDF]
4. VisualBERT : "VisualBERT: خط أساس بسيط وفعال للرؤية واللغة". arXiv(2019) [PDF]
5. B2T2 : "دمج الكائنات المكتشفة في النص للإجابة على الأسئلة المرئية". EMNLP(2019) [PDF] [الكود]
6. VL-BERT : "VL-BERT: التدريب المسبق على التمثيلات البصرية واللغوية العامة". ICLR(2020) [PDF] [الكود]
7. Unicoder-VL : "Unicoder-VL: أداة تشفير عالمية للرؤية واللغة من خلال التدريب المسبق عبر الوسائط". AAAI(2020) [PDF]
8. VLP : "التدريب المسبق على لغة الرؤية الموحدة للتسميات التوضيحية للصور وVQA". AAAI(2020) [PDF] [الكود]
9. UNITER : "UNITER: تعلم تمثيل النص والصورة العالمي". ECCV(2020) [PDF] [الكود]
10. أوسكار : "أوسكار: تدريب مسبق على دلالات الكائنات لمهام لغة الرؤية". ECCV(2020) [PDF] [الكود]
11. “12 في 1: رؤية متعددة المهام وتعلم تمثيل اللغة”. CVPR(2020) [PDF] [الكود]
12. ActBERT : "ActBERT: تعلم تمثيلات نصوص الفيديو العالمية والمحلية". CVPR(2020) [PDF]
13. VLN : "التنقل عبر الرؤية واللغة مع مهام الاستدلال المساعدة ذاتية الإشراف". CVPR(2020) [PDF]
14. فيلا : "تدريب عدائي واسع النطاق لتعلم تمثيل الرؤية واللغة". arXiv(2020) [PDF] [الكود]
15. ImageBERT : "ImageBERT: تدريب مسبق متعدد الوسائط باستخدام بيانات نصية صورية واسعة النطاق ضعيفة الإشراف". arXiv(2020) [PDF]
16. محاذاة : "توسيع نطاق التعلم البصري وتمثيل اللغة والرؤية مع الإشراف على النص الصاخب". ICML(2021) [PDF]
17. ClipBERT : "الأقل هو الأكثر: ClipBERT لتعلم الفيديو واللغة عبر أخذ عينات متفرقة". CVPR(2021) [PDF] [الكود]
18. DALL·E : "إنشاء تحويل النص إلى صورة بدون لقطة". arXiv(2021) [PDF] [الكود]
19. CLIP : "تعلم النماذج المرئية القابلة للتحويل من الإشراف على اللغة الطبيعية". arXiv(2021) [PDF] [الكود]
20. IPT : "محول معالجة الصور المدرب مسبقًا". CVPR(2021) [PDF] [الكود]
21. CvT : “CvT: تقديم التلافيف لمحولات الرؤية”. ICCV(2021) [PDF] [الكود]
22. “توسيع نطاق التعلم البصري وتمثيل لغة الرؤية مع الإشراف على النص الصاخب”. ICML(2021) [PDF]
23. TERA : "TERA: التعلم الخاضع للإشراف الذاتي لتمثيل تشفير المحولات للكلام". TASLP(2021) [PDF] [الكود]
24. CaiT : "التعمق أكثر باستخدام محولات الصور". ICCV(2021) [PDF] [الكود]
25. ViViT : "ViViT: محول رؤية الفيديو". ICCV(2021) [PDF] [الكود]
26. VirTex : "VirTex: تعلم التمثيلات المرئية من التعليقات التوضيحية النصية". CVPR(2021) [PDF] [الكود]
27. M6 : "M6: محول ضخم متعدد الوسائط إلى متعدد الوسائط للتدريب المسبق الموحد". KDD(2021) [PDF]
28. “استكشاف الأساليب المشتركة: التحليل البصري مع الاهتمام الذاتي للتدريب المسبق على الرؤية واللغة”. NeurIPS(2021) [PDF]
29. جيلبيرت : "جيلبيرت: التدريب المسبق على الرؤية واللغة التوليدية للمهام اللغوية البصرية غير المكتملة". SIGIR(2021) [PDF]

استرجاع المعلومات

1. ORQA : "الاسترجاع الكامن للإجابة على أسئلة المجال المفتوح الخاضعة للإشراف الضعيف". ACL(2019) [PDF]
2. المجال : "العالم: التدريب المسبق على نموذج اللغة المعزز للاسترجاع". arXiv(2020) [PDF]
3. RAG : "جيل الاسترجاع المعزز لمهام البرمجة اللغوية العصبية كثيفة المعرفة". NeurIPS(2020) [PDF] [الكود]
4. DPR : "استرجاع الممر الكثيف للإجابة على أسئلة المجال المفتوح". EMNLP(2020) [PDF] [الكود]
5. “الاستفادة من استرجاع المقطع باستخدام النماذج التوليدية للإجابة على أسئلة المجال المفتوح”. EACL(2021) [PDF] [الكود]

شفرة

1. CodeT5 : "CodeT5: نماذج التشفير وفك التشفير الموحدة والمدربة مسبقًا لفهم الكود وإنشاءه". EMNLP(2021) [PDF] [الكود]
2. الدستور الغذائي : “تقييم نماذج اللغات الكبيرة المدربة على الكود”. arXiv(2021) [PDF] [الكود]

آحرون

1. ReasonBERT : "ReasonBERT: تم تدريبه مسبقًا على التفكير بإشراف بعيد". EMNLP(2021) [PDF] [الكود]
2. “أجهزة التشفير التلقائية لاختناق الجملة من نماذج لغة المحولات”. EMNLP(2021) [PDF] [الكود]
3. “الحساب يعزز معرفة القراءة والكتابة لنماذج اللغة”. EMNLP(2021) [PDF] [الكود]
4. EnsLM : “EnsLM: نموذج لغة المجموعة لتنوع البيانات عن طريق التجميع الدلالي”. ACL(2021) [PDF] [الكود]
5. “فك التشفير العاكس: ما وراء الجيل أحادي الاتجاه مع نماذج اللغات الجاهزة”. ACL(2021) [PDF] [الكود]
6. بيرتاك : “بيرتاك: تعزيز نماذج اللغة القائمة على المحولات باستخدام الشبكات العصبية التلافيفية المدربة مسبقًا”. ACL(2021) [PDF] [الكود]
7. “فهم اللغة الطبيعية مع الحفاظ على الخصوصية BERT”. CIKM(2021) [PDF]
8. بانغ : “بانغ: سد جيل الانحدار الذاتي وغير الانحدار الذاتي مع التدريب المسبق على نطاق واسع”. ICML(2021) [PDF] [الكود]

تحليل بي إل إم

معرفة

1. “ما الذي ينظر إليه بيرت؟ تحليل لاهتمام بيرت “. BlackBoxNLP(2019) [PDF] [الكود]
2. “بيرت يعيد اكتشاف خط أنابيب البرمجة اللغوية العصبية الكلاسيكية”. ACL(2019) [PDF]
3. “ما مدى تعدد اللغات في BERT متعدد اللغات؟”. ACL(2019) [PDF]
4. “مسبار هيكلي للعثور على بناء الجملة في تمثيلات الكلمات”. NAACL(2019) [PDF] [الكود]
5. “نماذج اللغة كقواعد معرفية؟”. EMNLP(2019) [PDF] [الكود]
6. “ماذا يتعلم بيرت عن بنية اللغة؟”. ACL(2019) [PDF] [الكود]
7. “المعرفة اللغوية وقابلية نقل التمثيلات السياقية”. NAACL(2019) [PDF]
8. “تقييم قدرات بيرت النحوية”. arXiv(2019) [PDF] [الكود]
9. "اختبار فهم الشبكة العصبية لوسائط اللغة الطبيعية" ACL(2019) [PDF]
10. “كيف يتم تمثيل الكلمات السياقية؟ مقارنة هندسة تضمينات BERT و ELMo و GPT-2 “. EMNLP(2019) [PDF]
11. “تصور وقياس هندسة BERT”. NeurIPS(2019) [PDF]
12. “تصميم وتفسير المجسات مع مهام التحكم”. EMNLP(2019) [PDF]
13. “افتح يا سمسم: الدخول إلى المعرفة اللغوية لبيرت”. BlackboxNLP(2019) [PDF] [الكود]
14. “ماذا تتعلم من السياق؟ التحقق من بنية الجملة في تمثيلات الكلمات السياقية “. ICLR(2019) [PDF] [الكود]
15. “استخراج المعرفة المنطقية من النماذج المدربة مسبقًا”. EMNLP(2019) [PDF]
16. “هل تعرف نماذج البرمجة اللغوية العصبية الأرقام؟ التحقق من الحساب في التضمينات”. EMNLP(2019) [PDF]
17. “حول قابلية النقل بين اللغات للتمثيلات أحادية اللغة”. ACL(2020) [PDF]
18. “القدرة عبر اللغات لـ BERT متعدد اللغات: دراسة تجريبية”. ICLR(2020) [PDF] [الكود]
19. “ما ليس BERT: دروس من مجموعة جديدة من التشخيص اللغوي النفسي لنماذج اللغة”. TACL(2020) [PDF] [الكود]
20. “ما مقدار المعرفة التي يمكنك حزمها في معلمات نموذج اللغة؟”. EMNLP(2020) [PDF] [الكود]
21. “كيف يمكننا أن نعرف ما تعرفه نماذج اللغة؟”. TACL(2020) [PDF] [الكود]
22. “oLMpics-On ما هو نموذج اللغة الذي يلتقطه التدريب المسبق”. TACL(2020) [PDF] [الكود]
23. “الاستقصاء النظري للمعلومات مع الحد الأدنى لطول الوصف”. EMNLP(2020) [PDF] [الكود]
24. “إحداث المعرفة العلائقية من بيرت”. AAAI(2020) [PDF]
25. المطالبة التلقائية : "المطالبة التلقائية: استخلاص المعرفة من نماذج اللغة باستخدام المطالبات التي يتم إنشاؤها تلقائيًا". EMNLP(2020) [PDF] [الكود]
26. “البنية اللغوية الناشئة في الشبكات العصبية الاصطناعية المدربة بالإشراف الذاتي”. PNAS(2020) [PDF]
27. “تقييم الحس السليم في نماذج اللغة المدربة مسبقًا”. AAAI(2020) [PDF] [الكود]
28. “إحداث المعرفة العلائقية من بيرت”. AAAI(2020) [PDF]
29. “تحرير المعرفة الواقعية في نماذج اللغة”. EMNLP(2021) [PDF] [الكود]
30. “ما مقدار بيانات التدريب المسبق التي تحتاجها نماذج اللغة لتعلم بناء الجملة؟”. EMNLP(2021) [PDF]
31. “زوجات الأب لئيمات والأكاديميون مدعون: ماذا تتعلم عنك نماذج اللغة المدربة مسبقًا؟”. EMNLP(2021) [PDF] [الكود]
32. “وضع الكلمات في فم بيرت: التنقل في مساحات المتجهات ذات السياق باستخدام الكلمات الزائفة”. EMNLP(2021) [PDF] [الكود]
33. “تأثيرات التردد على تعلم القواعد النحوية في المحولات”. EMNLP(2021) [PDF] [الكود]
34. “استكشاف دور تمثيلات BERT الرمزية لشرح نتائج فحص الجملة”. EMNLP(2021) [PDF] [الكود]
35. “كيف يفاجأ بيرت؟ الكشف عن الشذوذات اللغوية”. ACL(2021) [PDF] [الكود]
36. “التمثيلات الضمنية للمعنى في نموذج اللغة العصبية”. ACL(2021) [PDF] [الكود]
37. “تخمين مطلع أم متعلم؟ إعادة النظر في نماذج اللغة كقواعد معرفية”. ACL(2021) [PDF] [الكود]

المتانة

1. “محفزات الخصومة العالمية لمهاجمة وتحليل البرمجة اللغوية العصبية”. EMNLP(2019) [PDF] [الكود]
2. “المحولات المدربة مسبقًا تعمل على تحسين المتانة خارج التوزيع”. ACL(2020) [PDF] [الكود]
3. هجوم بيرت : "هجوم بيرت: هجوم عدائي ضد بيرت باستخدام بيرت". EMNLP(2020) [PDF] [الكود]
4. “هل BERT قوي حقًا؟ خط أساس قوي لهجوم اللغة الطبيعية على تصنيف النص واستلزامه “. AAAI(2020) [PDF] [الكود]
5. “الشيطان يكمن في التفاصيل: حيل بسيطة تعمل على تحسين التعميم المنهجي للمحولات”. EMNLP(2021) [PDF] [الكود]
6. “الفرز من خلال الضوضاء: اختبار قوة معالجة المعلومات في نماذج اللغة المدربة مسبقًا”. EMNLP(2021) [PDF] [الكود]

متناثرة

1. “هل ستة عشر رأسًا أفضل حقًا من رأس واحد؟”. NeurIPS(2019) [PDF] [الكود]
2. “تحليل الاهتمام الذاتي متعدد الرؤوس: الرؤوس المتخصصة تقوم برفع الأثقال، ويمكن تقليم الباقي”. ACL(2019) [PDF] [الكود]
3. “الكشف عن أسرار بيرت المظلمة”. EMNLP(2019) [PDF]
4. “فرضية تذكرة اليانصيب لشبكات BERT المدربة مسبقًا”. NeurIPS(2020) [PDF] [الكود]
5. “عندما يلعب بيرت اليانصيب، فإن جميع التذاكر تفوز”. EMNLP(2020) [PDF] [الكود]

آحرون

1. “قوانين القياس لنماذج اللغة العصبية”. arXiv(2020) [PDF]
2. “استخراج بيانات التدريب من نماذج اللغات الكبيرة”. arXiv(2020) [PDF] [الكود]
3. “حول مخاطر الببغاوات العشوائية: هل يمكن أن تكون نماذج اللغة كبيرة جدًا؟؟”. FACCT(2021) [PDF]
4. “استخراج بيانات التدريب من نماذج اللغات الكبيرة”. USENIX(2021) [PDF] [الكود]
5. “نمذجة اللغة المقنعة وفرضية التوزيع: ترتيب الكلمات المهمة قبل التدريب على القليل”. EMNLP(2021) [PDF] [الكود]
6. “آثار نمو قاعدة المعلمة أثناء تدريب المحولات: التحيز الاستقرائي من نزول التدرج”. EMNLP(2021) [PDF] [الكود]
7. “التدرجات المتكاملة المنفصلة لشرح نماذج اللغة”. EMNLP(2021) [PDF] [الكود]
8. “هل تستخدم نماذج اللغة طويلة المدى فعليًا سياقًا طويل المدى؟”. EMNLP(2021) [PDF]
9. “مسابقة النموذج السطحي: لماذا لا تكون الإجابة ذات الاحتمالية الأعلى صحيحة دائمًا”. EMNLP(2021) [PDF] [الكود]
10. “دمج الطبقات المتبقية والتطبيع في تحليل نماذج اللغة المقنعة”. EMNLP(2021) [PDF] [الكود]
11. “طول التسلسل هو مجال: التجهيز القائم على الطول في نماذج المحولات”. EMNLP(2021) [PDF]
12. “هل الالتفافات المدربة مسبقًا أفضل من المحولات المدربة مسبقًا؟”. ACL(2021) [PDF]
13. “المصنوعات اليدوية الموضعية تنتشر من خلال تضمينات نموذج اللغة المقنعة”. ACL(2021) [PDF]
14. “متى تحتاج إلى مليارات الكلمات من بيانات التدريب المسبق؟”. ACL(2021) [PDF] [الكود]
15. “BERT بالنسبة للبرمجة اللغوية العصبية هو ما يمثله AlexNet بالنسبة للسيرة الذاتية: هل يمكن لنماذج اللغة المدربة مسبقًا تحديد المقارنات؟”. ACL(2021) [PDF] [الكود]
16. “دراسة التحيز الاستقرائي لنماذج اللغة العصبية مع اللغات الاصطناعية”. ACL(2021) [PDF] [الكود]
17. “لماذا تساعد نماذج اللغة المدربة مسبقًا في المهام النهائية؟ تحليل الرأس والضبط الفوري”. NeurIPS(2021) [PDF]

كفاءة إدارة دورة حياة المنتج (PLM).

تمرين

1. روبرتا : "روبرتا: نهج التدريب المسبق المحسن بقوة لبيرت". arXiv(2019) [PDF] [الكود]
2. “التدريب الفعال لـ BERT عن طريق التراص التدريجي”. ICML(2019) [PDF] [الكود]
3. Megatron-LM : “Megatron-LM: تدريب نماذج لغة متعددة المليارات باستخدام التوازي النموذجي”. arXiv(2019) [PDF] [الكود]
4. ELECTRA : "ELECTRA: أدوات تشفير النص قبل التدريب كأدوات تمييز بدلاً من مولدات". ICLR(2020) [PDF] [الكود]
5. “تحسين دفعة كبيرة للتعلم العميق: تدريب بيرت في 76 دقيقة”. ICLR(2020) [PDF] [الكود]
6. GShard : "GShard: توسيع نطاق النماذج العملاقة باستخدام الحساب الشرطي والمشاركة التلقائية". arXiv(2020) [PDF]
7. المشرف : "فهم صعوبة تدريب المحولات". EMNLP(2020) [PDF] [الكود]
8. ZeRO : "ZeRO: تحسينات الذاكرة نحو تدريب نماذج تريليون معلمة". SC20: International Conference for High Performance Computing, Networking, Storage and Analysis [PDF] [الكود]
9. محولات التبديل : “محولات التبديل: التوسع إلى تريليون نموذج من المعلمات مع تناثر بسيط وفعال”. arXiv(2021) [PDF] [الكود]
10. “كيفية تدريب بيرت بميزانية أكاديمية”. EMNLP(2021) [PDF]
11. “تحسين المحولات الأعمق في مجموعات البيانات الصغيرة”. ACL(2021) [PDF] [الكود]
12. “EarlyBERT: تدريب BERT الفعال عبر تذاكر اليانصيب المبكرة”. ACL(2021) [PDF] [الكود]

الاستدلال

1. “بيرت يفقد الصبر: الاستدلال السريع والقوي مع الخروج المبكر”. NeurIPS(2020) [PDF] [الكود]
2. GAML-BERT : "GAML-BERT: تحسين الخروج المبكر لـ BERT من خلال التعلم المتبادل المتدرج". EMNLP(2021) [PDF]
3. “نماذج لغة الجوار الأقرب الفعالة”. EMNLP(2021) [PDF] [الكود]
4. GhostBERT : "GhostBERT: أنشئ المزيد من الميزات بعمليات رخيصة لـ BERT". ACL(2021) [PDF] [الكود]
5. LeeBERT : "LeeBERT: تعلم الخروج المبكر لـ BERT مع التحسين عبر المستويات". ACL(2021) [PDF]
6. “المحول المتكيف مع الطول: تدريب مرة واحدة مع انخفاض الطول، استخدمه في أي وقت مع البحث”. ACL(2021) [PDF] [الكود]
7. “استخراج المعرفة من BERT إلى شبكات عصبية بسيطة متصلة بالكامل من أجل استرجاع عمودي فعال”. CIKM(2021) [PDF]

ضغط

1. DistilBERT : "DistilBERT، نسخة مقطرة من BERT: أصغر وأسرع وأرخص وأخف وزنًا". arXiv(2019) [PDF] [الكود]
2. PKD : "التقطير المعرفي للمريض لضغط نموذج BERT". EMNLP(2019) [PDF] [الكود]
3. “استخراج المعرفة الخاصة بالمهمة من BERT إلى شبكات عصبية بسيطة”. arXiv(2019) [PDF]
4. Q8BERT : "Q8BERT: بيرت 8 بت المكممة". 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing - NeurIPS 2019 [PDF]
5. ألبرت : "ألبرت: بيرت لايت لتعلم تمثيلات اللغة تحت الإشراف الذاتي". ICLR(2020) [PDF] [الكود]
6. TinyBERT : "TinyBERT: تقطير بيرت لفهم اللغة الطبيعية". EMNLP(2020) [PDF] [الكود]
7. Layerdrop : "تقليل عمق المحولات عند الطلب من خلال التسرب المنظم". ICLR(2020) [PDF] [الكود]
8. Q-BERT : "Q-BERT: القياس الكمي فائق الدقة لـ BERT القائم على هسه". AAAI(2020) [PDF]
9. MobileBERT : "MobileBERT: BERT صغير الحجم غير محدد المهام للأجهزة محدودة الموارد". ACL(2020) [PDF] [الكود]
10. “ضغط بيرت: دراسة آثار تقليم الوزن على نقل التعلم”. 5th Workshop on Representation Learning for NLP(2020) [PDF] [الكود]
11. MiniLM : “MiniLM: التقطير العميق للانتباه الذاتي من أجل الضغط غير المدروس للمحولات المدربة مسبقًا”. arXiv(2020) [PDF] [الكود]
12. FastBERT : "FastBERT: بيرت ذاتي التقطير مع وقت الاستدلال التكيفي". ACL(2020) [PDF] [الكود]
13. DeeBERT : “DeeBERT: الخروج الديناميكي المبكر لتسريع استدلال BERT”. ACL(2020) [PDF] [الكود]
14. “ضغط النماذج المعتمدة على المحولات واسعة النطاق: دراسة حالة عن BERT”. TACL(2021) [PDF]
15. “الفوز باليانصيب مع التشتت المستمر”. NeurIPS(2020) [PDF] [الكود]
16. SqueezeBERT : "SqueezeBERT: ما الذي يمكن أن تعلمه رؤية الكمبيوتر البرمجة اللغوية العصبية حول الشبكات العصبية الفعالة؟". SustaiNLP(2020) [PDF]
17. صوت ألبرت : "صوت ألبرت: لايت بيرت للتعلم تحت الإشراف الذاتي لتمثيل الصوت". SLT(2021) [PDF] [الكود]
18. T2R : "ضبط المحولات المدربة مسبقًا إلى شبكات RNN". EMNLP(2021) [PDF] [الكود]
19. “ما وراء الدقة المحفوظة: تقييم الولاء ومتانة ضغط BERT”. EMNLP(2021) [PDF] [الكود]
20. Meta-KD : “Meta-KD: إطار عمل لتقطير المعرفة الفوقية لضغط نموذج اللغة عبر المجالات”. ACL(2021) [PDF] [الكود]
21. “التذاكر الفائقة في نماذج اللغة المدربة مسبقًا: من ضغط النموذج إلى تحسين التعميم”. ACL(2021) [PDF] [الكود]
22. BinaryBERT : "BinaryBERT: دفع الحد الأقصى لتكميم BERT". ACL(2021) [PDF] [الكود]
23. AutoTinyBERT : "AutoTinyBERT: التحسين التلقائي للمعلمات الفائقة لنماذج اللغة الفعالة المدربة مسبقًا". ACL(2021) [PDF] [الكود]
24. “تناقص المنفعة الحدية: استكشاف الحد الأدنى من المعرفة لتقطير المعرفة BERT”. ACL(2021) [PDF] [الكود]
25. “تمكين الضبط الخفيف الوزن لضغط نماذج اللغة المدربة مسبقًا استنادًا إلى مشغلي منتجات المصفوفة”. ACL(2021) [PDF] [الكود]
26. NAS-BERT : "NAS-BERT: ضغط BERT لا أدري المهام وحجم التكيف مع البحث في الهندسة العصبية". KDD(2021) [PDF]

التكيف مع إدارة دورة حياة المنتج (PLM).

مرحلتين

1. “أجهزة ترميز الجملة على STILTs: تدريب تكميلي على مهام البيانات الموسومة المتوسطة”. arXiv(2018) [PDF] [الكود]
2. “كيفية ضبط بيرت لتصنيف النص؟”. CCL(2019) [PDF]
3. “لا تتوقف عن التدريب المسبق: تكييف نماذج اللغة مع المجالات والمهام”. ACL(2020) [PDF] [الكود]
4. “تعلم نقل المهام المتوسطة باستخدام نماذج اللغة المدربة مسبقًا: متى ولماذا يعمل؟”. ACL(2020) [PDF]
5. "ما الذي يجب التدريب عليه مسبقًا؟ اختيار المهام المتوسطة بكفاءة ". EMNLP(2021) [PDF] [الكود]
6. “حول تأثير سياسات التقنيع في التدريب المسبق المتوسط”. EMNLP(2021) [PDF]
7. الشرغوف : "الشرغوف: تدريب مسبق مُكيَّف للمهمة من خلال اكتشاف الحالات الشاذة". EMNLP(2021) [PDF]

متعددة المهام

1. MT-DNN : “الشبكات العصبية العميقة متعددة المهام لفهم اللغة الطبيعية”. ACL(2019) [PDF] [الكود]
2. “BAM! شبكات متعددة المهام ولدت من جديد لفهم اللغة الطبيعية “. ACL(2019) [PDF] [الكود]
3. “تحسين الشبكات العصبية العميقة متعددة المهام عبر تقطير المعرفة لفهم اللغة الطبيعية”. arXiv(2019) [PDF] [الكود]
4. GradTS : “GradTS: طريقة اختيار المهام المساعدة التلقائية القائمة على التدرج بناءً على شبكات المحولات”. EMNLP(2021) [PDF]
5. “ماذا يدور في رأسك؟ السلوك الناشئ في نماذج المحولات متعددة المهام “. EMNLP(2021) [PDF]
6. MTAdam : "MTAdam: الموازنة التلقائية لشروط فقدان التدريب المتعددة". EMNLP(2021) [PDF]
7. الدمى المتحركة : "الدمى المتحركة: تمثيلات ضخمة متعددة المهام مع ضبط مسبق". EMNLP(2021) [PDF]
8. “فرضية الخلايا الجذعية: معضلة وراء التعلم متعدد المهام باستخدام أجهزة تشفير المحولات”. EMNLP(2021) [PDF] [الكود]
9. بيرتجن : "بيرتجن: إنشاء المهام المتعددة من خلال بيرت". ACL(2021) [PDF] [الكود]
10. “ضبط المهام المتعددة بكفاءة المعلمة للمحولات عبر شبكات Hypernetworks المشتركة”. ACL(2021) [PDF] [الكود]

محول

1. “BERT وPALs: طبقات الاهتمام المتوقعة للتكيف الفعال في التعلم متعدد المهام”. ICML(2019) [PDF] [الكود]
2. المحول : "تعلم النقل بكفاءة المعلمات في البرمجة اللغوية العصبية". ICML(2019) [PDF] [الكود]
3. "AdapterDrop : "AdapterDrop: حول كفاءة المحولات في المحولات". EMNLP(2021) [PDF]
4. “حول فعالية الضبط المعتمد على المحول من أجل التكيف مع نموذج اللغة المدرب مسبقًا”. ACL(2021) [PDF]
5. "تعلم كيفية إنشاء محولات خاصة بالمهمة من وصف المهمة". ACL(2021) [PDF] [الكود]

اِسْتَدْعَى

1. PET : “استغلال أسئلة Cloze لتصنيف النص قليل اللقطات واستدلال اللغة الطبيعية”. EACL(2021) [PDF] [الكود]
2. “ليس الحجم هو المهم فقط: نماذج اللغات الصغيرة هي أيضًا قليلة المتعلمين”. NAACL(2021) [PDF] [الكود]
3. “ضبط البادئة: تحسين المطالبات المستمرة للجيل”. arXiv(2021) [PDF]
4. LM-BFF : "جعل نماذج اللغة المدربة مسبقًا أفضل لعدد قليل من المتعلمين". ACL(2021) [PDF] [الكود]
5. “ما الذي يجعل الأمثلة الجيدة في السياق لـ GPT-3؟”. arXiv(2021) [PDF] [الكود]
6. “قوة المقياس للضبط الفوري ذو الكفاءة المعلمية”. EMNLP(2021) [PDF] [الكود]
7. “نماذج اللغة الدقيقة هي متعلمون بلا طلقة”. arXiv(2021) [PDF]
8. “المعايرة قبل الاستخدام: تحسين أداء نماذج اللغة القليلة”. ICML(2021) [PDF] [الكود]
9. TransPrompt : "TransPrompt: نحو إطار مطالبة تلقائي قابل للتحويل لتصنيف النصوص القليلة اللقطات". EMNLP(2021) [PDF] [الكود]
10. SFLM : “إعادة النظر في التدريب الذاتي لتعلم نموذج اللغة قليلًا”. EMNLP(2021) [PDF] [الكود]
11. ADAPET : "تحسين وتبسيط التدريب على استغلال الأنماط". EMNLP(2021) [PDF] [الكود]

آحرون

1. “للضبط أو عدم الضبط؟ تكييف التمثيلات المدربة مسبقًا مع المهام المتنوعة”. RepL4NLP(2019) [PDF]
2. “نهج بسيط بشكل محرج لنقل التعلم من نماذج اللغة المدربة مسبقًا”. NAACL(2019) [PDF] [الكود]
3. “ضبط نماذج اللغة المدربة مسبقًا: تهيئة الوزن وطلبات البيانات والتوقف المبكر”. arXiv(2020) [PDF]
4. SMART : "SMART: ضبط دقيق قوي وفعال لنماذج اللغة الطبيعية المدربة مسبقًا من خلال التحسين المنظم المبدئي". EMNLP(2020) [PDF] [الكود]
5. “إعادة النظر في عينات قليلة من ضبط BERT”. ICLR(2021) [PDF]
6. مرآة بيرت : "سريعة وفعالة وذاتية الإشراف: تحويل نماذج اللغة المقنعة إلى أدوات تشفير معجمية وجملية عالمية". EMNLP(2021) [PDF] [الكود]
7. “التدريب المسبق أم التعليق التوضيحي؟ التكيف مع المجال بميزانية مقيدة”. EMNLP(2021) [PDF] [الكود]
8. أفوكادو : "أفوكادو: استراتيجية لتكييف المفردات مع المجال النهائي". EMNLP(2021) [PDF]
9. ضبط الطفل : "تربية طفل في نموذج لغة كبيرة: نحو ضبط فعال وقابل للتعميم". EMNLP(2021) [PDF] [الكود]
10. “ترويض نماذج اللغة المدربة مسبقًا باستخدام تمثيلات N-gram لتكيف المجال منخفض الموارد”. ACL(2021) [PDF] [الكود]
11. LexFit : "LexFit: الضبط الدقيق لنماذج اللغة المدربة مسبقًا". ACL(2021) [PDF] [الكود]
12. “اختيار السياقات الإعلامية يعمل على تحسين ضبط نموذج اللغة”. ACL(2021) [PDF] [الكود]
13. “دراسة تجريبية حول تحسين المعلمات الفائقة لضبط نماذج اللغة المدربة مسبقًا”. ACL(2021) [PDF] [الكود]
14. “كيف ينبغي ضبط نماذج اللغة المدربة مسبقًا لتحقيق المتانة التنافسية؟”. NeurIPS(2021) [PDF] [الكود]