PLMPapers

เอกสารพีแอลเอ็ม

เล่าโดยเสี่ยวเล่ย หวาง

โมเดลภาษาก่อนการฝึกอบรมขนาดใหญ่ (PLM) เช่น BERT และ GPT ประสบความสำเร็จอย่างมากและกลายเป็นก้าวสำคัญใน NLP

ในการซื้อคืนนี้ เรารวบรวมเอกสาร PLM ที่เป็นตัวแทนบางส่วนในช่วงไม่กี่ปีที่ผ่านมา ตามจำนวนการอ้างอิงและเอกสารที่ตีพิมพ์ในการประชุมชั้นนำครั้งล่าสุด (เช่น ACL, EMNLP, ICLR, ICML, NeurIPS)

เราจะคอยอัปเดต repo และยินดีรับคำขอและปัญหาการดึง! ขอบคุณสำหรับดาวและส้อมของคุณ!

สารบัญ

• สำรวจ
• เกณฑ์มาตรฐาน
• พีแอลเอ็ม ดีไซน์
  • ทั่วไป
  • ความรู้
  • พูดได้หลายภาษา
  • หลายกิริยา
  • การสืบค้นข้อมูล
  • รหัส
  • คนอื่น
• การวิเคราะห์พีแอลเอ็ม
  • ความรู้
  • ความทนทาน
  • ความเบาบาง
  • คนอื่น
• PLM ที่มีประสิทธิภาพ
  • การฝึกอบรม
  • การอนุมาน
  • การบีบอัด
• การปรับตัวของ PLM
  • สองขั้นตอน
  • หลายงาน
  • อะแดปเตอร์
  • พรอมต์
  • คนอื่น

สำรวจ

1. "แบบจำลองที่ได้รับการฝึกอบรมล่วงหน้าสำหรับการประมวลผลภาษาธรรมชาติ: แบบสำรวจ" Science China Technological Sciences(2020) [PDF]
2. "BERT อันไหน แบบสำรวจที่จัดระเบียบตัวเข้ารหัสตามบริบท" EMNLP(2020) [PDF]
3. "ข้อมูลเบื้องต้นใน BERTology: สิ่งที่เรารู้เกี่ยวกับการทำงานของ BERT" TACL(2020) [PDF]
4. "จากการแสดงคำแบบคงที่ไปจนถึงแบบไดนามิก: แบบสำรวจ" International Journal of Machine Learning and Cybernetics(2020) [PDF]
5. "ภาพรวมของโมเดลที่ใช้หม้อแปลงสำหรับงาน NLP" 2020 15th Conference on Computer Science and Information Systems (FedCSIS) [PDF]
6. "การสำรวจการฝังตามบริบท" arXiv(2020) [PDF]
7. "ตำรา NLP: สูตรอาหารสมัยใหม่สำหรับสถาปัตยกรรมการเรียนรู้เชิงลึกที่ใช้หม้อแปลงไฟฟ้า" IEEE Access(2021) [PDF]
8. "โมเดลก่อนการฝึก: อดีต ปัจจุบัน และอนาคต" arXiv(2021) [PDF]
9. "ฝึกอบรมล่วงหน้า แจ้ง และคาดการณ์: การสำรวจอย่างเป็นระบบเกี่ยวกับวิธีแจ้งเตือนในการประมวลผลภาษาธรรมชาติ" arXiv(2021) [PDF]
10. "AMMUS: การสำรวจโมเดลฝึกหัดที่ใช้หม้อแปลงไฟฟ้าในการประมวลผลภาษาธรรมชาติ" arXiv(2021) [PDF]
11. "โอกาสและความเสี่ยงของแบบจำลองพื้นฐาน". arXiv(2021) [PDF]
12. "การเปลี่ยนกระบวนทัศน์ในการประมวลผลภาษาธรรมชาติ" arXiv(2021) [PDF]
13. "ความก้าวหน้าล่าสุดในการประมวลผลภาษาธรรมชาติผ่านแบบจำลองภาษาที่ได้รับการฝึกอบรมล่วงหน้าขนาดใหญ่: แบบสำรวจ" arXiv(2021) [PDF]

เกณฑ์มาตรฐาน

1. XNLI : "XNLI: การประเมินการแทนประโยคข้ามภาษา" EMNLP(2018) [PDF] [ชุดข้อมูล]
2. GLUE : "GLUE: เกณฑ์มาตรฐานและแพลตฟอร์มการวิเคราะห์แบบหลายงานเพื่อการทำความเข้าใจภาษาธรรมชาติ" ICLR(2019) [หน้าแรก]
3. SuperGLUE : "SuperGLUE: เกณฑ์มาตรฐานที่เหนียวกว่าสำหรับระบบการทำความเข้าใจภาษาเพื่อวัตถุประสงค์ทั่วไป" NeurIPS(2019) [หน้าแรก]
4. เบาะแส : "เบาะแส: เกณฑ์มาตรฐานการประเมินความเข้าใจภาษาจีน" COLING(2020) [หน้าแรก]
5. XTREME : "XTREME: เกณฑ์มาตรฐานงานหลายภาษาจำนวนมากสำหรับการประเมินลักษณะทั่วไปข้ามภาษา" ICML(2020) [หน้าแรก]
6. XGLUE : "XGLUE: ชุดข้อมูลเกณฑ์มาตรฐานใหม่สำหรับการฝึกอบรมล่วงหน้า ความเข้าใจ และการสร้างข้ามภาษา" EMNLP(2020) [หน้าแรก]
7. DialoGLUE : "DialoGLUE: เกณฑ์มาตรฐานการทำความเข้าใจภาษาธรรมชาติสำหรับบทสนทนาที่เน้นงาน" arXiv(2020) [หน้าแรก]

พีแอลเอ็ม ดีไซน์

ทั่วไป

1. GPT : "การปรับปรุงความเข้าใจภาษาโดย Generative Pre-Training" OpenAI(2018) [โครงการ]
2. GPT-2 : "โมเดลภาษาเป็นผู้เรียนมัลติทาสก์ที่ไม่ได้รับการดูแล" OpenAI(2019) [โครงการ]
3. BERT : "BERT: การฝึกอบรมล่วงหน้าเกี่ยวกับหม้อแปลงสองทิศทางเชิงลึกเพื่อการทำความเข้าใจภาษา" NAACL(2019) [PDF] [รหัส]
4. XLNet : "XLNet: การฝึกล่วงหน้าแบบถอยหลังอัตโนมัติทั่วไปเพื่อการทำความเข้าใจภาษา" NeurIPS(2019) [PDF] [รหัส]
5. SBERT : "Sentence-BERT: การฝังประโยคโดยใช้ Siamese BERT-Networks" ACL(2019) [PDF] [รหัส]
6. UniLM : "การฝึกอบรมล่วงหน้าโมเดลภาษาแบบรวมเพื่อความเข้าใจและการสร้างภาษาธรรมชาติ" NeurIPS(2019) [PDF] [รหัส]
7. MASS : "MASS: Masked Sequence to Sequence การฝึกอบรมล่วงหน้าสำหรับการสร้างภาษา" ICML(2019) [PDF] [รหัส]
8. Chinese-BERT-wwm : "การฝึกอบรมล่วงหน้าพร้อมการมาสก์คำศัพท์ทั้งหมดสำหรับ BERT ภาษาจีน" arXiv(2019) [PDF] [รหัส]
9. "การฝึกอบรมล่วงหน้าแบบ Cloze-driven ของเครือข่ายการดูแลตนเอง" EMNLP(2019) [PDF]
10. "BERT มีปาก และมันต้องพูด: BERT เป็นรูปแบบภาษาสุ่มฟิลด์ของ Markov" Workshop on Methods for Optimizing and Evaluating Neural Language Generation(2019) [PDF] [รหัส]
11. GPT-3 : "โมเดลภาษาเป็นผู้เรียนเพียงไม่กี่คน" NeurIPS(2020) [PDF] [รหัส]
12. T5 : "สำรวจขีดจำกัดของการถ่ายโอนการเรียนรู้ด้วยตัวแปลงข้อความเป็นข้อความแบบครบวงจร" JMLR(2020) [PDF] [รหัส]
13. BART : "BART: Denoising Sequence-to-Sequence การฝึกอบรมล่วงหน้าสำหรับการสร้าง การแปล และความเข้าใจภาษาธรรมชาติ" ACL(2020) [PDF] [รหัส]
14. Poly-encoders : "Poly-encoders: สถาปัตยกรรมและกลยุทธ์การฝึกอบรมล่วงหน้าเพื่อการให้คะแนนหลายประโยคที่รวดเร็วและแม่นยำ" ICLR(2020) [PDF]
15. SpanBERT : "SpanBERT: การปรับปรุงการฝึกอบรมล่วงหน้าโดยการนำเสนอและคาดการณ์ Spans" TACL(2020) [PDF] [รหัส]
16. ERNIE 2.0 : "ERNIE 2.0: กรอบการฝึกอบรมล่วงหน้าอย่างต่อเนื่องเพื่อการทำความเข้าใจภาษา" AAAI(2020) [PDF] [รหัส]
17. SemBERT : "Semantics-Aware BERT เพื่อการทำความเข้าใจภาษา" AAAI(2020) [PDF] [รหัส]
18. "การใช้ประโยชน์จากจุดตรวจที่ได้รับการฝึกอบรมล่วงหน้าสำหรับงานการสร้างลำดับ" TACL(2020) [PDF] [รหัส]
19. ProphetNet : "ProphetNet: ทำนายอนาคต N-gram สำหรับการฝึกอบรมตามลำดับต่อลำดับ" EMNLP(2020) [PDF]
20. UniLMv2 : "UniLMv2: โมเดลภาษาหลอกเทียมสำหรับการฝึกอบรมล่วงหน้าโมเดลภาษาแบบรวม" ICML(2020) [PDF] [รหัส]
21. MacBERT : "การทบทวนแบบจำลองที่ได้รับการฝึกอบรมล่วงหน้าสำหรับการประมวลผลภาษาธรรมชาติของจีน" EMNLP(2020) [PDF] [รหัส]
22. MPNet : "MPNet: การฝึกอบรมล่วงหน้าแบบสวมหน้ากากและดัดแปลงเพื่อการทำความเข้าใจภาษา" arXiv(2020) [PDF] [รหัส]
23. DEBERTA : "DeBERTa: BERT ที่ปรับปรุงการถอดรหัสพร้อมความสนใจที่ไม่พันกัน" ICLR(2021) [PDF] [รหัส]
24. PALM : "PALM: การฝึกอบรมล่วงหน้าแบบจำลองภาษาการเข้ารหัสอัตโนมัติและถอยหลังอัตโนมัติสำหรับการสร้างที่มีเงื่อนไขตามบริบท" EMNLP(2020) [PDF]
25. ออปติมัส : "ออปติมัส: การจัดระเบียบประโยคผ่านการสร้างแบบจำลองพื้นที่แฝงที่ผ่านการฝึกอบรมมาแล้ว" EMNLP(2020) [PDF] [รหัส]
26. "การฝึกอบรมด้วยตนเองช่วยปรับปรุงการฝึกอบรมล่วงหน้าเพื่อความเข้าใจภาษาธรรมชาติ" NAACL(2021) [PDF] [รหัส]
27. CAPT : "คิดใหม่เกี่ยวกับการเข้ารหัสอัตโนมัติแบบ Denoised ในการฝึกอบรมภาษาล่วงหน้า" EMNLP(2021) [PDF]
28. "ทางเลือกการฝึกอบรมล่วงหน้าที่เรียบง่ายอย่างน่าหงุดหงิดสำหรับการสร้างแบบจำลองภาษาที่สวมหน้ากาก" EMNLP(2021) [PDF] [รหัส]
29. "การโน้มน้าวใจและการเอาใจใส่ตนเอง: การตีความตำแหน่งสัมพัทธ์ใหม่ในแบบจำลองภาษาที่ผ่านการฝึกอบรมมาแล้ว" ACL(2021) [PDF] [รหัส]
30. ERNIE-Doc : "ERNIE-Doc: หม้อแปลงการสร้างแบบจำลองเอกสารยาวย้อนหลัง" ACL(2021) [PDF] [รหัส]
31. "การฝึกอบรมการนำเสนอภาษาสากลก่อนการฝึกอบรม" ACL(2021) [PDF] [รหัส]

ความรู้

1. เออร์นี (ไป่ตู้) : "เออร์นี: ยกระดับการเป็นตัวแทนผ่านการบูรณาการความรู้" arXiv(2019) [PDF] [รหัส]
2. KnowBert : "การนำเสนอคำตามบริบทที่ปรับปรุงความรู้" EMNLP(2019) [PDF]
3. เออร์นี (ชิงหัว) : "เออร์นี: การนำเสนอภาษาที่ปรับปรุงด้วยเอนทิตีที่ให้ข้อมูล" ACL(2019) [PDF] [รหัส]
4. COMET : "COMET: Commonsense Transformers สำหรับการสร้างกราฟความรู้อัตโนมัติ" ACL(2019) [PDF] [รหัส]
5. K-BERT : "K-BERT: การเปิดใช้งานการแทนภาษาด้วยกราฟความรู้" AAAI(2020) [PDF] [รหัส]
6. WKLM : "สารานุกรมที่ได้รับการฝึกฝน: โมเดลภาษาที่ได้รับการฝึกฝนด้วยความรู้ที่มีการควบคุมดูแลอย่างอ่อนแอ" ICLR(2020) [PDF]
7. LUKE : "LUKE: การแสดงเอนทิตีตามบริบทเชิงลึกด้วยการเอาใจใส่ตนเองโดยคำนึงถึงเอนทิตี" EMNLP(2020) [PDF] [รหัส]
8. K-Adapter : "K-Adapter: ผสมผสานความรู้เข้ากับโมเดลที่ได้รับการฝึกอบรมล่วงหน้าด้วยอะแดปเตอร์" ICLR(2021) [PDF]
9. KEPLER : "KEPLER: โมเดลแบบรวมศูนย์สำหรับการฝังความรู้และการเป็นตัวแทนภาษาที่ได้รับการฝึกอบรมล่วงหน้า" TACL(2021) [PDF] [รหัส]
10. RuleBERT : "RuleBERT: การสอนกฎแบบนุ่มนวลให้กับโมเดลภาษาที่ได้รับการฝึกอบรมล่วงหน้า" EMNLP(2021) [PDF] [รหัส]
11. BeliefBank : "การสำรวจบทบาทของการเป็นตัวแทนโทเค็น BERT เพื่ออธิบายผลลัพธ์การตรวจสอบประโยค" EMNLP(2021) [PDF] [รหัส]
12. วลี-BERT : "วลี-BERT: ปรับปรุงการฝังวลีจาก BERT พร้อมแอปพลิเคชันเพื่อการสำรวจคอร์ปัส" EMNLP(2021) [PDF] [รหัส]
13. "โมเดลก่อนการฝึกอบรมที่ปรับปรุงไวยากรณ์" ACL(2021) [PDF] [รหัส]
14. StructFormer : "StructFormer: การชักนำร่วมโดยไม่ได้รับการดูแลร่วมกันของโครงสร้างการพึ่งพาและการเลือกตั้งจากการสร้างแบบจำลองภาษามาสก์" ACL(2021) [PDF]
15. เอริก้า : "เอริก้า: การปรับปรุงความเข้าใจเอนทิตีและความสัมพันธ์สำหรับโมเดลภาษาที่ได้รับการฝึกอบรมล่วงหน้าผ่านการเรียนรู้ที่ตรงกันข้าม" ACL(2021) [PDF] [รหัส]
16. "คำแนะนำเชิงโครงสร้างสำหรับโมเดลภาษาของ Transformer" ACL(2021) [PDF] [รหัส]
17. HORNET : "HORNET: เพิ่มคุณค่าการเป็นตัวแทนภาษาที่ได้รับการฝึกอบรมล่วงหน้าด้วยแหล่งความรู้ที่แตกต่างกัน" CIKM(2021) [PDF]
18. "ทิ้งสิ่งซ้ำซ้อน ลดขนาดที่ไม่เกี่ยวข้อง: การฉีดความรู้แบบเลือกสรรเพื่อการฝึกสอนภาษา" IJCAI(2021) [PDF]

พูดได้หลายภาษา

1. XLM : "การฝึกอบรมแบบจำลองภาษาข้ามภาษา" arXiv(2019) [PDF] [รหัส]
2. "การฝังประโยคหลายภาษาจำนวนมากสำหรับการถ่ายโอนข้ามภาษาแบบ Zero-Shot และอื่น ๆ " TACL(2019) [PDF] [รหัส]
3. UDify : "75 ภาษา 1 รุ่น: การแยกวิเคราะห์การพึ่งพาสากลแบบสากล" EMNLP(2019) [PDF] [รหัส]
4. Unicoder : "Unicoder: ตัวเข้ารหัสภาษาสากลโดยการฝึกอบรมล่วงหน้าด้วยงานข้ามภาษาหลายภาษา" EMNLP(2019) [PDF]
5. XLM-R : "การเรียนรู้การเป็นตัวแทนข้ามภาษาแบบไม่มีผู้ดูแลในวงกว้าง" ACL(2020) [PDF]
6. "การจัดตำแหน่งหลายภาษาของการแสดงคำตามบริบท" ICLR(2020) [PDF]
7. mBART : "การฝึกอบรมล่วงหน้าการลดเสียงรบกวนหลายภาษาสำหรับการแปลเครื่องประสาท" TACL(2020) [PDF] [รหัส]
8. mT5 : "mT5: ตัวแปลงข้อความเป็นข้อความที่ผ่านการฝึกอบรมล่วงหน้าหลายภาษาจำนวนมาก" NAACL(2021) [PDF] [รหัส]
9. InfoXLM : "InfoXLM: กรอบข้อมูล-ทฤษฎีสำหรับการฝึกอบรมล่วงหน้าแบบจำลองภาษาข้ามภาษา" NAACL(2021) [PDF] [รหัส]
10. "การจัดสรรคำศัพท์จำนวนมากสำหรับการฝึกอบรมล่วงหน้าแบบจำลองภาษาข้ามภาษา" EMNLP(2021) [PDF] [รหัส]
11. ERNIE-M : "ERNIE-M: ปรับปรุงการนำเสนอหลายภาษาโดยการจัดความหมายข้ามภาษาให้สอดคล้องกับ Corpora ภาษาเดียว" EMNLP(2021) [PDF] [รหัส]
12. "วิธีเรขาคณิตอย่างง่ายสำหรับการแปลงทางภาษาข้ามภาษาด้วยโปรแกรมเข้ารหัสอัตโนมัติที่ผ่านการฝึกอบรมมาแล้ว" EMNLP(2021) [PDF]
13. "การส่งเสริมการถ่ายทอดข้ามภาษาผ่านการเรียนรู้ด้วยตนเองด้วยการประมาณค่าความไม่แน่นอน" EMNLP(2021) [PDF]
14. "Tokenizer ของคุณดีแค่ไหน? เกี่ยวกับประสิทธิภาพภาษาเดียวของโมเดลภาษาหลายภาษา" ACL(2021) [PDF] [รหัส]
15. "การฝึกอบรมล่วงหน้าหลายภาษาพร้อมการเรียนรู้การพึ่งพาสากล" NeurIPS(2021) [PDF]

หลายกิริยา

1. ViLBERT : "ViLBERT: การฝึกอบรมการนำเสนอด้วยการมองเห็นและภาษาที่ไม่เชื่อเรื่องพระเจ้าสำหรับงานสำหรับงานด้านการมองเห็นและภาษา" NeuralIPS(2019) [PDF]
2. LXMERT : "LXMERT: การเรียนรู้การเป็นตัวแทนตัวเข้ารหัสแบบ Cross-Modality จาก Transformers" EMNLP(2019) [PDF] [รหัส]
3. VideoBERT : "VideoBERT: โมเดลร่วมสำหรับการเรียนรู้การนำเสนอวิดีโอและภาษา" ICCV(2019) [PDF]
4. VisualBERT : "VisualBERT: บรรทัดฐานที่เรียบง่ายและมีประสิทธิภาพสำหรับการมองเห็นและภาษา" arXiv(2019) [PDF]
5. B2T2 : "การผสมผสานของวัตถุที่ตรวจพบในข้อความสำหรับการตอบคำถามด้วยภาพ" EMNLP(2019) [PDF] [รหัส]
6. VL-BERT : "VL-BERT: การฝึกอบรมล่วงหน้าเกี่ยวกับการนำเสนอด้วยภาพ-ภาษาศาสตร์ทั่วไป" ICLR(2020) [PDF] [รหัส]
7. Unicoder-VL : "Unicoder-VL: ตัวเข้ารหัสสากลสำหรับการมองเห็นและภาษาโดย Cross-Modal Pre-Training" AAAI(2020) [PDF]
8. VLP : "การฝึกอบรมล่วงหน้าภาษาวิสัยทัศน์แบบครบวงจรสำหรับคำบรรยายภาพและ VQA" AAAI(2020) [PDF] [รหัส]
9. UNITER : "UNITER: การเรียนรู้การเป็นตัวแทนรูปภาพ-TExt แบบสากล" ECCV(2020) [PDF] [รหัส]
10. ออสการ์ : "Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks" ECCV(2020) [PDF] [รหัส]
11. "12-in-1: วิสัยทัศน์แบบมัลติทาสก์และการเรียนรู้การนำเสนอภาษา" CVPR(2020) [PDF] [รหัส]
12. ActBERT : "ActBERT: การเรียนรู้การนำเสนอข้อความวิดีโอระดับสากล-ท้องถิ่น" CVPR(2020) [PDF]
13. VLN : "การนำทางด้วยภาพ-ภาษาพร้อมงานการใช้เหตุผลเสริมแบบควบคุมตนเอง" CVPR(2020) [PDF]
14. วิลล่า : "การฝึกอบรมปฏิปักษ์ขนาดใหญ่เพื่อการเรียนรู้การเป็นตัวแทนด้วยการมองเห็นและภาษา" arXiv(2020) [PDF] [รหัส]
15. ImageBERT : "ImageBERT: การฝึกอบรมล่วงหน้าแบบ Cross-modal พร้อมข้อมูลข้อความรูปภาพที่มีการดูแลแบบอ่อนแอขนาดใหญ่" arXiv(2020) [PDF]
16. ALIGN : "ขยายขนาดการเรียนรู้การแสดงภาพและภาษาวิสัยทัศน์ด้วยการควบคุมดูแลข้อความที่มีเสียงดัง" ICML(2021) [PDF]
17. ClipBERT : "Less Is More: ClipBERT สำหรับการเรียนรู้ผ่านวิดีโอและภาษาผ่านการสุ่มตัวอย่างแบบกระจาย" CVPR(2021) [PDF] [รหัส]
18. DALL·E : "การสร้างข้อความเป็นภาพเป็นศูนย์" arXiv(2021) [PDF] [รหัส]
19. คลิป : "การเรียนรู้แบบจำลองภาพที่สามารถถ่ายทอดได้จากการกำกับดูแลด้วยภาษาธรรมชาติ" arXiv(2021) [PDF] [รหัส]
20. IPT : "หม้อแปลงประมวลผลภาพที่ได้รับการฝึกอบรมล่วงหน้า" CVPR(2021) [PDF] [รหัส]
21. CvT : "CvT: การแนะนำ Convolutions ให้กับ Vision Transformers" ICCV(2021) [PDF] [รหัส]
22. "ขยายขนาดการเรียนรู้การแสดงภาพและภาษาวิสัยทัศน์ด้วยการควบคุมดูแลข้อความที่มีเสียงดัง" ICML(2021) [PDF]
23. TERA : "TERA: การเรียนรู้ด้วยตนเองของการแสดงตัวเข้ารหัสหม้อแปลงสำหรับคำพูด" TASLP(2021) [PDF] [รหัส]
24. CaiT : "เจาะลึกยิ่งขึ้นด้วย Image Transformers" ICCV(2021) [PDF] [รหัส]
25. ViViT : "ViViT: หม้อแปลงวิดีโอวิชั่น" ICCV(2021) [PDF] [รหัส]
26. VirTex : "VirTex: การเรียนรู้การแสดงภาพจากคำอธิบายประกอบที่เป็นข้อความ" CVPR(2021) [PDF] [รหัส]
27. M6 : "M6: หม้อแปลงเมกะแบบมัลติทาสก์ถึงหลายโหมดสำหรับการฝึกล่วงหน้าแบบรวมศูนย์" KDD(2021) [PDF]
28. "การตรวจสอบระหว่างรูปแบบ: การแยกวิเคราะห์ภาพด้วยการเอาใจใส่ตนเองเพื่อการฝึกอบรมล่วงหน้าด้านการมองเห็นและภาษา" NeurIPS(2021) [PDF]
29. GilBERT : "GilBERT: การฝึกอบรมล่วงหน้าด้านการมองเห็น-ภาษาสำหรับงาน Modality-งานทางภาษาศาสตร์ที่ไม่สมบูรณ์" SIGIR(2021) [PDF]

การสืบค้นข้อมูล

1. ORQA : "การดึงข้อมูลแบบแฝงสำหรับการตอบคำถามโดเมนแบบเปิดที่มีการดูแลอย่างอ่อนแอ" ACL(2019) [PDF]
2. REALM : "REALM: การฝึกอบรมล่วงหน้าแบบจำลองภาษาที่ดึงข้อมูลมาเสริม" arXiv(2020) [PDF]
3. RAG : "การสร้างเสริมการดึงข้อมูลสำหรับงาน NLP ที่เน้นความรู้" NeurIPS(2020) [PDF] [รหัส]
4. DPR : "การเรียกค้นข้อความหนาแน่นสำหรับการตอบคำถามแบบเปิดโดเมน" EMNLP(2020) [PDF] [รหัส]
5. "การใช้ประโยชน์จากการสืบค้นข้อความด้วยแบบจำลองเชิงกำเนิดสำหรับการตอบคำถามแบบโดเมนเปิด" EACL(2021) [PDF] [รหัส]

รหัส

1. CodeT5 : "CodeT5: โมเดลตัวเข้ารหัส-ตัวถอดรหัสแบบรวมที่รับรู้ตัวระบุล่วงหน้า สำหรับการทำความเข้าใจและสร้างโค้ด" EMNLP(2021) [PDF] [รหัส]
2. Codex : "การประเมินโมเดลภาษาขนาดใหญ่ที่ผ่านการฝึกอบรมเกี่ยวกับโค้ด" arXiv(2021) [PDF] [รหัส]

คนอื่น

1. ReasonBERT : "ReasonBERT: ฝึกฝนการใช้เหตุผลล่วงหน้าด้วยการกำกับดูแลระยะไกล" EMNLP(2021) [PDF] [รหัส]
2. "ตัวเข้ารหัสอัตโนมัติของประโยคคอขวดจากโมเดลภาษา Transformer" EMNLP(2021) [PDF] [รหัส]
3. "การคำนวณช่วยเพิ่มความรู้ของแบบจำลองภาษา" EMNLP(2021) [PDF] [รหัส]
4. EnsLM : "EnsLM: โมเดลภาษา Ensemble สำหรับความหลากหลายของข้อมูลโดยการจัดกลุ่มความหมาย" ACL(2021) [PDF] [รหัส]
5. "การถอดรหัสแบบสะท้อนแสง: เหนือกว่าการสร้างทิศทางเดียวด้วยโมเดลภาษาที่มีจำหน่ายทั่วไป" ACL(2021) [PDF] [รหัส]
6. BERTAC : "BERTAC: การปรับปรุงโมเดลภาษาที่ใช้ Transformer ด้วยโครงข่ายประสาทเทียมแบบ Convolutional ที่ฝึกล่วงหน้าโดยฝ่ายตรงข้าม" ACL(2021) [PDF] [รหัส]
7. "การทำความเข้าใจภาษาธรรมชาติด้วยการรักษาความเป็นส่วนตัวของ BERT" CIKM(2021) [PDF]
8. BANG : "BANG: การเชื่อมโยงรุ่น Autoregressive และ Non-autoregressive ด้วยการฝึกอบรมล่วงหน้าขนาดใหญ่" ICML(2021) [PDF] [รหัส]

การวิเคราะห์พีแอลเอ็ม

ความรู้

1. "BERT มองอะไร? การวิเคราะห์ความสนใจของ BERT" BlackBoxNLP(2019) [PDF] [รหัส]
2. BERT ค้นพบท่อส่ง NLP แบบคลาสสิกอีกครั้ง ACL(2019) [PDF]
3. "BERT หลายภาษามีหลายภาษาอย่างไร" ACL(2019) [PDF]
4. "การสอบสวนโครงสร้างสำหรับการค้นหาไวยากรณ์ในการแทนคำ" NAACL(2019) [PDF] [รหัส]
5. “แบบจำลองภาษาเป็นฐานความรู้?” EMNLP(2019) [PDF] [รหัส]
6. "BERT เรียนรู้อะไรเกี่ยวกับโครงสร้างของภาษา" ACL(2019) [PDF] [รหัส]
7. "ความรู้ทางภาษาและความสามารถในการถ่ายทอดการนำเสนอตามบริบท" NAACL(2019) [PDF]
8. "การประเมินความสามารถทางวากยสัมพันธ์ของ BERT" arXiv(2019) [PDF] [รหัส]
9. "การตรวจสอบความเข้าใจโครงข่ายประสาทเทียมของการโต้แย้งภาษาธรรมชาติ" ACL(2019) [PDF]
10. "การแสดงคำตามบริบทมีบริบทอย่างไร การเปรียบเทียบเรขาคณิตของการฝัง BERT, ELMo และ GPT-2" EMNLP(2019) [PDF]
11. "การแสดงภาพและการวัดเรขาคณิตของ BERT" NeurIPS(2019) [PDF]
12. "การออกแบบและการตีความโพรบกับงานควบคุม" EMNLP(2019) [PDF]
13. "งาเปิด: เข้าถึงความรู้ทางภาษาศาสตร์ของ BERT" BlackboxNLP(2019) [PDF] [รหัส]
14. "คุณเรียนรู้อะไรจากบริบท การซักถามโครงสร้างประโยคในการแทนคำตามบริบท" ICLR(2019) [PDF] [รหัส]
15. "การขุดความรู้สามัญสำนึกจากแบบจำลองที่ได้รับการอบรม" EMNLP(2019) [PDF]
16. โมเดล NLP รู้ตัวเลขหรือไม่ ตรวจสอบการคำนวณในการฝังตัว EMNLP(2019) [PDF]
17. "ว่าด้วยความสามารถในการถ่ายโอนข้ามภาษาของการเป็นตัวแทนภาษาเดียว" ACL(2020) [PDF]
18. "ความสามารถข้ามภาษาของ BERT หลายภาษา: การศึกษาเชิงประจักษ์" ICLR(2020) [PDF] [รหัส]
19. "สิ่งที่ BERT ไม่ใช่: บทเรียนจากชุดการวินิจฉัยทางภาษาศาสตร์ชุดใหม่สำหรับแบบจำลองภาษา" TACL(2020) [PDF] [รหัส]
20. "คุณสามารถบรรจุความรู้ได้มากเพียงใดในพารามิเตอร์ของแบบจำลองภาษา" EMNLP(2020) [PDF] [รหัส]
21. "เราจะรู้ได้อย่างไรว่าโมเดลภาษาใดรู้" TACL(2020) [PDF] [รหัส]
22. "oLMpics-จับภาพก่อนการฝึกด้วยโมเดลภาษาอะไร" TACL(2020) [PDF] [รหัส]
23. "การตรวจสอบข้อมูล-ทฤษฎีโดยมีความยาวคำอธิบายขั้นต่ำ" EMNLP(2020) [PDF] [รหัส]
24. “การชักชวนองค์ความรู้เชิงสัมพันธ์จาก BERT” AAAI(2020) [PDF]
25. AutoPrompt : "AutoPrompt: ดึงเอาความรู้จากโมเดลภาษาพร้อมพรอมต์ที่สร้างขึ้นโดยอัตโนมัติ" EMNLP(2020) [PDF] [รหัส]
26. "โครงสร้างทางภาษาที่เกิดขึ้นใหม่ในโครงข่ายประสาทเทียมที่ได้รับการฝึกฝนโดยการกำกับดูแลตนเอง" PNAS(2020) [PDF]
27. "การประเมินสามัญสำนึกในรูปแบบภาษาที่ได้รับการฝึกอบรมล่วงหน้า" AAAI(2020) [PDF] [รหัส]
28. “การชักชวนองค์ความรู้เชิงสัมพันธ์จาก BERT” AAAI(2020) [PDF]
29. "การแก้ไขความรู้ข้อเท็จจริงในรูปแบบภาษา". EMNLP(2021) [PDF] [รหัส]
30. "โมเดลภาษาจำเป็นต้องมีข้อมูลการฝึกอบรมล่วงหน้าจำนวนเท่าใดเพื่อเรียนรู้ไวยากรณ์" EMNLP(2021) [PDF]
31. "แม่เลี้ยงเป็นคนใจร้ายและนักวิชาการก็อวดดี: โมเดลภาษาที่ได้รับการฝึกหัดเรียนรู้อะไรเกี่ยวกับคุณ" EMNLP(2021) [PDF] [รหัส]
32. "การใส่คำในปากของ BERT: การนำทางพื้นที่เวกเตอร์ตามบริบทด้วยคำเทียม" EMNLP(2021) [PDF] [รหัส]
33. "ผลกระทบความถี่ต่อการเรียนรู้กฎวากยสัมพันธ์ในหม้อแปลงไฟฟ้า" EMNLP(2021) [PDF] [รหัส]
34. "การสำรวจบทบาทของการแสดงโทเค็น BERT เพื่ออธิบายผลการตรวจสอบประโยค" EMNLP(2021) [PDF] [รหัส]
35. "BERT ประหลาดใจอย่างไร การตรวจจับความผิดปกติทางภาษาแบบเลเยอร์" ACL(2021) [PDF] [รหัส]
36. "การแสดงความหมายโดยนัยในรูปแบบภาษาประสาท" ACL(2021) [PDF] [รหัส]
37. "ผู้เดาที่มีความรู้หรือมีการศึกษา ทบทวนโมเดลภาษาเป็นฐานความรู้" ACL(2021) [PDF] [รหัส]

ความทนทาน

1. "ตัวกระตุ้นฝ่ายตรงข้ามสากลสำหรับการโจมตีและวิเคราะห์ NLP" EMNLP(2019) [PDF] [รหัส]
2. "หม้อแปลงที่ได้รับการฝึกมาล่วงหน้าจะปรับปรุงความทนทานเมื่อไม่กระจายตัว" ACL(2020) [PDF] [รหัส]
3. BERT-ATTACK : "BERT-ATTACK: การโจมตีฝ่ายตรงข้ามกับ BERT โดยใช้ BERT" EMNLP(2020) [PDF] [รหัส]
4. "BERT แข็งแกร่งจริงหรือ? เป็นพื้นฐานที่แข็งแกร่งสำหรับการโจมตีด้วยภาษาธรรมชาติในการจำแนกประเภทข้อความและการกำหนดรายละเอียด" AAAI(2020) [PDF] [รหัส]
5. ปีศาจอยู่ในรายละเอียด: เคล็ดลับง่ายๆ ปรับปรุงลักษณะทั่วไปของ Transformers อย่างเป็นระบบ EMNLP(2021) [PDF] [รหัส]
6. "การเรียงลำดับตามสัญญาณรบกวน: การทดสอบความแข็งแกร่งของการประมวลผลข้อมูลในแบบจำลองภาษาที่ได้รับการฝึกอบรมล่วงหน้า" EMNLP(2021) [PDF] [รหัส]

ความเบาบาง

1. "สิบหกหัวดีกว่าหัวเดียวจริงหรือ" NeurIPS(2019) [PDF] [รหัส]
2. "การวิเคราะห์การเอาใจใส่ตนเองแบบหลายหัว: หัวพิเศษทำการยกของหนัก ส่วนที่เหลือสามารถตัดแต่งได้" ACL(2019) [PDF] [รหัส]
3. "เปิดเผยความลับดำมืดของเบิร์ต" EMNLP(2019) [PDF]
4. "สมมติฐานสลากลอตเตอรี่สำหรับเครือข่าย BERT ที่ได้รับการฝึกอบรมล่วงหน้า" NeurIPS(2020) [PDF] [รหัส]
5. "เมื่อ BERT เล่นลอตเตอรี่ ตั๋วทั้งหมดจะถูกรางวัล" EMNLP(2020) [PDF] [รหัส]

คนอื่น

1. "กฎมาตราส่วนสำหรับแบบจำลองภาษาประสาท" arXiv(2020) [PDF]
2. "การแยกข้อมูลการฝึกอบรมจากแบบจำลองภาษาขนาดใหญ่" arXiv(2020) [PDF] [รหัส]
3. "เกี่ยวกับอันตรายของนกแก้วสุ่ม: โมเดลภาษาสามารถใหญ่เกินไปได้หรือไม่?" FACCT(2021) [PDF]
4. "การแยกข้อมูลการฝึกอบรมจากแบบจำลองภาษาขนาดใหญ่" USENIX(2021) [PDF] [รหัส]
5. "การสร้างแบบจำลองภาษามาสก์และสมมติฐานการกระจาย: ลำดับคำมีความสำคัญ การฝึกอบรมล่วงหน้าสำหรับเด็กเล็ก" EMNLP(2021) [PDF] [รหัส]
6. "ผลของการเติบโตของบรรทัดฐานของพารามิเตอร์ระหว่างการฝึกอบรมหม้อแปลงไฟฟ้า: อคติแบบอุปนัยจากการไล่ระดับลง" EMNLP(2021) [PDF] [รหัส]
7. "การไล่ระดับสีแบบบูรณาการแบบแยกส่วนสำหรับการอธิบายโมเดลภาษา" EMNLP(2021) [PDF] [รหัส]
8. "โมเดลภาษาระยะไกลใช้บริบทระยะไกลจริงหรือไม่" EMNLP(2021) [PDF]
9. "การแข่งขันรูปแบบพื้นผิว: เหตุใดคำตอบความน่าจะเป็นสูงสุดจึงไม่ถูกต้องเสมอไป" EMNLP(2021) [PDF] [รหัส]
10. "การรวมเลเยอร์ที่เหลือและการทำให้เป็นมาตรฐานเข้ากับการวิเคราะห์โมเดลภาษามาสก์" EMNLP(2021) [PDF] [รหัส]
11. "ความยาวลำดับเป็นโดเมน: การโอเวอร์ฟิตตามความยาวในรุ่นหม้อแปลงไฟฟ้า" EMNLP(2021) [PDF]
12. "Convolutions ที่ได้รับการฝึกไว้ล่วงหน้าดีกว่า Transformers ที่ได้รับการฝึกไว้หรือไม่" ACL(2021) [PDF]
13. "สิ่งประดิษฐ์ตามตำแหน่งแพร่กระจายผ่านการฝังโมเดลภาษามาสก์" ACL(2021) [PDF]
14. "เมื่อใดที่คุณต้องการข้อมูลการฝึกอบรมล่วงหน้านับพันล้านคำ" ACL(2021) [PDF] [รหัส]
15. "BERT คือ NLP สิ่งที่ AlexNet คือ CV: โมเดลภาษาที่ได้รับการฝึกอบรมล่วงหน้าสามารถระบุความคล้ายคลึงได้หรือไม่" ACL(2021) [PDF] [รหัส]
16. "การตรวจสอบอคติเชิงอุปนัยของแบบจำลองภาษาประสาทด้วยภาษาประดิษฐ์" ACL(2021) [PDF] [รหัส]
17. "เหตุใดโมเดลภาษาที่ได้รับการฝึกอบรมมาล่วงหน้าจึงช่วยในงานขั้นปลายได้ การวิเคราะห์การปรับแต่งศีรษะและแบบทันที" NeurIPS(2021) [PDF]

PLM ที่มีประสิทธิภาพ

การฝึกอบรม

1. RoBERTa : "RoBERTa: แนวทางการฝึกอบรมล่วงหน้าของ BERT ที่ได้รับการปรับให้เหมาะสมที่สุด" arXiv(2019) [PDF] [รหัส]
2. "การฝึกอบรม BERT อย่างมีประสิทธิภาพด้วยการซ้อนแบบก้าวหน้า" ICML(2019) [PDF] [รหัส]
3. Megatron-LM : "Megatron-LM: การฝึกอบรมโมเดลภาษาพารามิเตอร์หลายพันล้านโดยใช้โมเดล Parallelism" arXiv(2019) [PDF] [รหัส]
4. ELECTRA : "ELECTRA: การฝึกอบรมตัวเข้ารหัสข้อความล่วงหน้าในฐานะตัวแบ่งแยกแทนที่จะเป็นตัวกำเนิด" ICLR(2020) [PDF] [รหัส]
5. "การเพิ่มประสิทธิภาพแบทช์ขนาดใหญ่สำหรับการเรียนรู้เชิงลึก: การฝึกอบรม BERT ใน 76 นาที" ICLR(2020) [PDF] [รหัส]
6. GShard : "GShard: การปรับขนาดโมเดลยักษ์ด้วยการคำนวณแบบมีเงื่อนไขและการแบ่งส่วนอัตโนมัติ" arXiv(2020) [PDF]
7. Admin : "ทำความเข้าใจความยากของการฝึก Transformers" EMNLP(2020) [PDF] [รหัส]
8. ZeRO : "ZeRO: การเพิ่มประสิทธิภาพหน่วยความจำเพื่อการฝึกอบรมโมเดลพารามิเตอร์ล้านล้าน" SC20: International Conference for High Performance Computing, Networking, Storage and Analysis [PDF] [รหัส]
9. Switch Transformers : "สลับ Transformers: ปรับขนาดเป็นโมเดลพารามิเตอร์ล้านล้านด้วยความกระจัดกระจายที่ง่ายและมีประสิทธิภาพ" arXiv(2021) [PDF] [รหัส]
10. "วิธีฝึกอบรม BERT ด้วยงบประมาณทางวิชาการ" EMNLP(2021) [PDF]
11. "การเพิ่มประสิทธิภาพ Transformers ที่ลึกกว่าบนชุดข้อมูลขนาดเล็ก" ACL(2021) [PDF] [รหัส]
12. "EarlyBERT: การฝึกอบรม BERT อย่างมีประสิทธิภาพผ่านตั๋วลอตเตอรีล่วงหน้า" ACL(2021) [PDF] [รหัส]

การอนุมาน

1. "BERT สูญเสียความอดทน: การอนุมานที่รวดเร็วและแข็งแกร่งด้วยการออกก่อนเวลา" NeurIPS(2020) [PDF] [รหัส]
2. GAML-BERT : "GAML-BERT: การปรับปรุงการออกจาก BERT ก่อนกำหนดโดยการเรียนรู้ร่วมกันแบบไล่ระดับ" EMNLP(2021) [PDF]
3. "แบบจำลองภาษาเพื่อนบ้านที่ใกล้ที่สุดที่มีประสิทธิภาพ" EMNLP(2021) [PDF] [รหัส]
4. GhostBERT : "GhostBERT: สร้างฟีเจอร์เพิ่มเติมด้วยการดำเนินการราคาประหยัดสำหรับ BERT" ACL(2021) [PDF] [รหัส]
5. LeeBERT : "LeeBERT: เรียนรู้การออกจาก BERT ก่อนกำหนดด้วยการเพิ่มประสิทธิภาพข้ามระดับ" ACL(2021) [PDF]
6. "หม้อแปลงแบบปรับความยาวได้: ฝึกครั้งเดียวโดยลดความยาว ใช้งานได้ทุกเวลาพร้อมการค้นหา" ACL(2021) [PDF] [รหัส]
7. "การกลั่นกรองความรู้จาก BERT ไปสู่โครงข่ายประสาทเทียมที่เชื่อมต่ออย่างเต็มรูปแบบเพื่อการดึงข้อมูลในแนวตั้งอย่างมีประสิทธิภาพ" CIKM(2021) [PDF]

การบีบอัด

1. DitilBERT : "DistilBERT ซึ่งเป็นเวอร์ชันกลั่นของ BERT: เล็กกว่า เร็วกว่า ถูกกว่า และเบากว่า" arXiv(2019) [PDF] [รหัส]
2. PKD : "การกลั่นความรู้ของผู้ป่วยเพื่อการบีบอัดแบบจำลอง BERT" EMNLP(2019) [PDF] [รหัส]
3. "การกลั่นกรองความรู้เฉพาะงานจาก BERT ไปสู่โครงข่ายประสาทเทียมแบบง่าย" arXiv(2019) [PDF]
4. Q8BERT : "Q8BERT: ปริมาณ 8Bit BERT" 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing - NeurIPS 2019 [PDF]
5. ALBERT : "ALBERT: A Lite BERT สำหรับการเรียนรู้การแทนภาษาด้วยตนเอง" ICLR(2020) [PDF] [รหัส]
6. TinyBERT : "TinyBERT: การกลั่น BERT เพื่อความเข้าใจภาษาธรรมชาติ" EMNLP(2020) [PDF] [รหัส]
7. Layerdrop : "การลดความลึกของหม้อแปลงตามความต้องการด้วย Dropout แบบมีโครงสร้าง" ICLR(2020) [PDF] [รหัส]
8. Q-BERT : "Q-BERT: การหาปริมาณความแม่นยำต่ำพิเศษแบบ Hessian ของ BERT" AAAI(2020) [PDF]
9. MobileBERT : "MobileBERT: BERT แบบไม่เชื่อเรื่องงานขนาดกะทัดรัดสำหรับอุปกรณ์ที่จำกัดทรัพยากร" ACL(2020) [PDF] [รหัส]
10. "การบีบอัด BERT: การศึกษาผลของการตัดแต่งน้ำหนักต่อการเรียนรู้แบบถ่ายโอน" 5th Workshop on Representation Learning for NLP(2020) [PDF] [Code]
11. MiniLM : "MiniLM: การกลั่นด้วยความใส่ใจในเชิงลึกสำหรับการบีบอัดหม้อแปลงที่ผ่านการฝึกอบรมมาแล้วโดยไม่ต้องไม่เชื่อเรื่องงาน" arXiv(2020) [PDF] [รหัส]
12. FastBERT : "FastBERT: BERT ที่กลั่นตัวเองด้วยเวลาอนุมานแบบปรับเปลี่ยนได้" ACL(2020) [PDF] [รหัส]
13. DeeBERT : "DeeBERT: การออกจากระบบก่อนกำหนดแบบไดนามิกเพื่อเร่งการอนุมานของ BERT" ACL(2020) [PDF] [รหัส]
14. "การบีบอัดโมเดลที่ใช้หม้อแปลงไฟฟ้าขนาดใหญ่: กรณีศึกษาเกี่ยวกับ BERT" TACL(2021) [PDF]
15. "ถูกลอตเตอรี่แบบกระจายต่อเนื่อง" NeurIPS(2020) [PDF] [รหัส]
16. SqueezeBERT : "SqueezeBERT: คอมพิวเตอร์วิทัศน์สามารถสอน NLP เกี่ยวกับโครงข่ายประสาทเทียมที่มีประสิทธิภาพได้อย่างไร" SustaiNLP(2020) [PDF]
17. Audio ALBERT : "Audio Albert: A Lite Bert สำหรับการเรียนรู้การเป็นตัวแทนเสียงด้วยตนเอง" SLT(2021) [PDF] [รหัส]
18. T2R : "การปรับแต่งหม้อแปลงที่เตรียมไว้ล่วงหน้าให้เป็น RNN" EMNLP(2021) [PDF] [รหัส]
19. "เหนือความแม่นยำที่สงวนไว้: การประเมินความภักดีและความแข็งแกร่งของการบีบอัด BERT" EMNLP(2021) [PDF] [รหัส]
20. Meta-KD : "Meta-KD: กรอบการกลั่นความรู้ Meta สำหรับการบีบอัดโมเดลภาษาข้ามโดเมน" ACL(2021) [PDF] [รหัส]
21. "Super Tickets ในโมเดลภาษาที่ได้รับการฝึกอบรมล่วงหน้า: จากการบีบอัดโมเดลไปจนถึงการปรับปรุงลักษณะทั่วไป" ACL(2021) [PDF] [รหัส]
22. BinaryBERT : "BinaryBERT: ผลักดันขีดจำกัดของปริมาณ BERT" ACL(2021) [PDF] [รหัส]
23. AutoTinyBERT : "AutoTinyBERT: การเพิ่มประสิทธิภาพไฮเปอร์พารามิเตอร์อัตโนมัติสำหรับโมเดลภาษาที่ได้รับการฝึกอบรมล่วงหน้าอย่างมีประสิทธิภาพ" ACL(2021) [PDF] [รหัส]
24. "อรรถประโยชน์ส่วนเพิ่มลดน้อยลง: การสำรวจความรู้ขั้นต่ำเพื่อการกลั่นกรองความรู้ของ BERT" ACL(2021) [PDF] [รหัส]
25. "การเปิดใช้งานการปรับแต่งแบบละเอียดน้ำหนักเบาสำหรับการบีบอัดโมเดลภาษาที่ได้รับการฝึกอบรมล่วงหน้าตามตัวดำเนินการผลิตภัณฑ์เมทริกซ์" ACL(2021) [PDF] [รหัส]
26. NAS-BERT : "NAS-BERT: การบีบอัด BERT ที่ไม่เชื่อเรื่องพระเจ้าและปรับขนาดได้พร้อมการค้นหาสถาปัตยกรรมประสาท" KDD(2021) [PDF]

การปรับตัวของ PLM

สองขั้นตอน

1. "ตัวเข้ารหัสประโยคใน STILT: การฝึกอบรมเพิ่มเติมเกี่ยวกับงานข้อมูลที่มีป้ายกำกับระดับกลาง" arXiv(2018) [PDF] [รหัส]
2. "จะปรับแต่ง BERT สำหรับการจำแนกข้อความได้อย่างไร" CCL(2019) [PDF]
3. "อย่าหยุดการฝึกอบรมล่วงหน้า: ปรับโมเดลภาษาให้เข้ากับโดเมนและงาน" ACL(2020) [PDF] [รหัส]
4. "การเรียนรู้การถ่ายโอนงานระดับกลางด้วยโมเดลภาษาที่ได้รับการฝึกไว้ล่วงหน้า: ใช้งานได้เมื่อใดและเพราะเหตุใด" ACL(2020) [PDF]
5. "ควรฝึกอบรมอะไรล่วงหน้า การเลือกงานระดับกลางที่มีประสิทธิภาพ" EMNLP(2021) [PDF] [รหัส]
6. "อิทธิพลของนโยบายการปกปิดในการฝึกอบรมขั้นกลางระดับกลาง". EMNLP(2021) [PDF]
7. TADPOLE : "TADPOLE: งานที่ปรับเปลี่ยนการฝึกอบรมล่วงหน้าผ่านการตรวจจับ AnOmaLy" EMNLP(2021) [PDF]

หลายงาน

1. MT-DNN : "โครงข่ายประสาทเทียมเชิงลึกแบบหลายงานเพื่อความเข้าใจภาษาธรรมชาติ" ACL(2019) [PDF] [รหัส]
2. BAM! Born-Again Multi-Task Networks เพื่อความเข้าใจภาษาธรรมชาติ ACL(2019) [PDF] [รหัส]
3. "การปรับปรุงโครงข่ายประสาทเทียมเชิงลึกแบบหลายงานผ่านการกลั่นกรองความรู้เพื่อความเข้าใจภาษาธรรมชาติ" arXiv(2019) [PDF] [รหัส]
4. GradTS : "GradTS: วิธีการเลือกงานเสริมอัตโนมัติแบบไล่ระดับสีตามเครือข่ายหม้อแปลงไฟฟ้า" EMNLP(2021) [PDF]
5. "คุณคิดอะไรอยู่ พฤติกรรมฉุกเฉินในโมเดลหม้อแปลงไฟฟ้าแบบหลายงาน" EMNLP(2021) [PDF]
6. MTAdam : "MTAdam: การปรับสมดุลอัตโนมัติของเงื่อนไขการสูญเสียการฝึกอบรมหลายครั้ง" EMNLP(2021) [PDF]
7. Muppet : "Muppet: การแสดงหลายงานจำนวนมากพร้อมการปรับแต่งล่วงหน้า" EMNLP(2021) [PDF]
8. "สมมติฐานเซลล์ต้นกำเนิด: ภาวะที่กลืนไม่เข้าคายไม่ออกเบื้องหลังการเรียนรู้แบบหลายงานด้วยตัวเข้ารหัสหม้อแปลง" EMNLP(2021) [PDF] [รหัส]
9. BERTGen : "BERTGen: การสร้างงานแบบมัลติทาสก์ผ่าน BERT" ACL(2021) [PDF] [รหัส]
10. "การปรับแต่งแบบละเอียดหลายงานแบบพารามิเตอร์ที่มีประสิทธิภาพสำหรับ Transformers ผ่านทาง Hypernetworks ที่ใช้ร่วมกัน" ACL(2021) [PDF] [รหัส]

อะแดปเตอร์

1. "BERT และ PALs: ชั้นความสนใจที่คาดการณ์ไว้สำหรับการปรับตัวอย่างมีประสิทธิภาพในการเรียนรู้แบบหลายงาน" ICML(2019) [PDF] [รหัส]
2. อะแดปเตอร์ : "การเรียนรู้การถ่ายโอนพารามิเตอร์ที่มีประสิทธิภาพสำหรับ NLP" ICML(2019) [PDF] [รหัส]
3. AdapterDrop : "AdapterDrop: เกี่ยวกับประสิทธิภาพของอะแดปเตอร์ใน Transformers" EMNLP(2021) [PDF]
4. "ประสิทธิผลของการปรับแต่งโดยใช้อะแดปเตอร์สำหรับการปรับโมเดลภาษาที่ได้รับการฝึกล่วงหน้า" ACL(2021) [PDF]
5. "การเรียนรู้การสร้างอะแดปเตอร์เฉพาะงานจากคำอธิบายงาน" ACL(2021) [PDF] [รหัส]

พรอมต์

1. PET : "การใช้ประโยชน์จากคำถาม Cloze สำหรับการจำแนกข้อความแบบ Few-Shot และการอนุมานภาษาธรรมชาติ" EACL(2021) [PDF] [รหัส]
2. "สิ่งสำคัญไม่ใช่แค่ขนาดเท่านั้น โมเดลภาษาขนาดเล็กยังเป็นผู้เรียนที่ไม่ค่อยได้ความรู้อีกด้วย" NAACL(2021) [PDF] [รหัส]
3. "การปรับแต่งคำนำหน้า: การเพิ่มประสิทธิภาพพร้อมท์อย่างต่อเนื่องสำหรับการสร้าง" arXiv(2021) [PDF]
4. LM-BFF : "การสร้างโมเดลภาษาที่ได้รับการฝึกอบรมล่วงหน้าให้ดีขึ้นสำหรับผู้เรียนเพียงไม่กี่คน" ACL(2021) [PDF] [รหัส]
5. "อะไรทำให้ตัวอย่างในบริบทที่ดีสำหรับ GPT-3" arXiv(2021) [PDF] [รหัส]
6. "พลังแห่งสเกลสำหรับการปรับพารามิเตอร์พร้อมท์อย่างมีประสิทธิภาพ" EMNLP(2021) [PDF] [รหัส]
7. "โมเดลภาษาที่ได้รับการปรับปรุงคือผู้เรียนแบบ Zero-Shot" arXiv(2021) [PDF]
8. "ปรับเทียบก่อนใช้งาน: ปรับปรุงประสิทธิภาพการทำงานไม่กี่ช็อตของโมเดลภาษา" ICML(2021) [PDF] [รหัส]
9. TransPrompt : "TransPrompt: สู่กรอบข้อความแจ้งที่สามารถถ่ายโอนได้อัตโนมัติสำหรับการจำแนกข้อความแบบไม่กี่ช็อต" EMNLP(2021) [PDF] [รหัส]
10. SFLM : "ทบทวนการฝึกอบรมตนเองเพื่อการเรียนรู้โมเดลภาษาเพียงไม่กี่ช็อต" EMNLP(2021) [PDF] [รหัส]
11. ADAPET : "การปรับปรุงและลดความซับซ้อนของการฝึกอบรมการใช้รูปแบบ" EMNLP(2021) [PDF] [รหัส]

คนอื่น

1. “จะปรับแต่งหรือไม่ปรับแต่ง? ปรับการนำเสนอที่ผ่านการฝึกอบรมมาล่วงหน้าให้เข้ากับงานที่หลากหลาย” RepL4NLP(2019) [PDF]
2. "แนวทางง่ายๆ อย่างน่าเขินอายในการถ่ายทอดการเรียนรู้จากแบบจำลองภาษาที่ผ่านการฝึกอบรมมาแล้ว" NAACL(2019) [PDF] [รหัส]
3. "การปรับแต่งโมเดลภาษาที่ฝึกไว้ล่วงหน้าแบบละเอียด: การเริ่มต้นน้ำหนัก ลำดับข้อมูล และการหยุดก่อนกำหนด" arXiv(2020) [PDF]
4. SMART : "SMART: การปรับแต่งอย่างละเอียดที่แข็งแกร่งและมีประสิทธิภาพสำหรับโมเดลภาษาธรรมชาติที่ได้รับการฝึกอบรมล่วงหน้าผ่านการเพิ่มประสิทธิภาพแบบมาตรฐานตามหลักการ" EMNLP(2020) [PDF] [รหัส]
5. "การทบทวนการปรับแต่งแบบละเอียดของ BERT เพียงไม่กี่ตัวอย่าง" ICLR(2021) [PDF]
6. Mirror-BERT : "รวดเร็ว มีประสิทธิภาพ และควบคุมตนเอง: การแปลงโมเดลภาษาที่สวมหน้ากากให้กลายเป็นตัวเข้ารหัสคำศัพท์และประโยคสากล" EMNLP(2021) [PDF] [รหัส]
7. "ฝึกอบรมล่วงหน้าหรือใส่คำอธิบายประกอบ การปรับโดเมนด้วยงบประมาณที่จำกัด" EMNLP(2021) [PDF] [รหัส]
8. AVocaDo : "AVocaDo: กลยุทธ์การปรับคำศัพท์ให้เข้ากับโดเมนปลายน้ำ" EMNLP(2021) [PDF]
9. การปรับแต่งเด็ก : "เลี้ยงดูเด็กด้วยโมเดลภาษาขนาดใหญ่: สู่การปรับแต่งอย่างละเอียดอย่างมีประสิทธิผลและเป็นแบบทั่วไป" EMNLP(2021) [PDF] [รหัส]
10. "ฝึกฝนโมเดลภาษาที่ได้รับการฝึกอบรมล่วงหน้าด้วยการนำเสนอ N-gram สำหรับการปรับโดเมนที่ใช้ทรัพยากรต่ำ" ACL(2021) [PDF] [รหัส]
11. LexFit : "LexFit: การปรับแต่งคำศัพท์อย่างละเอียดของโมเดลภาษาที่ฝึกไว้ล่วงหน้า" ACL(2021) [PDF] [รหัส]
12. "การเลือกบริบทที่ให้ข้อมูลช่วยปรับปรุงการปรับแต่งโมเดลภาษาอย่างละเอียด" ACL(2021) [PDF] [รหัส]
13. "การศึกษาเชิงประจักษ์เกี่ยวกับการเพิ่มประสิทธิภาพไฮเปอร์พารามิเตอร์สำหรับการปรับแต่งโมเดลภาษาที่ได้รับการฝึกอบรมล่วงหน้าอย่างละเอียด" ACL(2021) [PDF] [รหัส]
14. "แบบจำลองภาษาที่ได้รับการฝึกอบรมล่วงหน้าควรได้รับการปรับแต่งอย่างละเอียดเพื่อความเข้มแข็งของฝ่ายตรงข้ามได้อย่างไร" NeurIPS(2021) [PDF] [รหัส]