PLMPapers

PLM論文

供稿：王小雷

BERT、GPT 等大規模預訓練語言模型（PLM）取得了巨大成功，成為 NLP 領域的里程碑。

在這個倉庫中，我們根據最新頂級會議（例如ACL、EMNLP、ICLR、ICML、NeurIPS）上的引用和發表的論文數量，收集了近年來一些具有代表性的PLM論文。

我們將不斷更新儲存庫並歡迎拉取請求和問題！感謝您的星星和叉子！

目錄

• 民調
• 基準
• 產品生命週期管理設計
  • 一般的
  • 知識
  • 多種語言
  • 多式聯運
  • 資訊檢索
  • 程式碼
  • 其他的
• 產品生命週期分析
  • 知識
  • 穩健性
  • 稀疏性
  • 其他的
• 高效率的產品生命週期管理
  • 訓練
  • 推理
  • 壓縮
• PLM 適配
  • 兩級
  • 多任務
  • 適配器
  • 迅速的
  • 其他的

民調

1. 「自然語言處理的預訓練模式：一項調查」。 Science China Technological Sciences(2020) [PDF]
2. 「哪個*BERT？組織情境化編碼器的調查」。 EMNLP(2020) [PDF]
3. 「BERT 學入門：我們對 BERT 工作原理的了解」。 TACL(2020) [PDF]
4. 「從靜態到動態的字詞表示：一項調查」。 International Journal of Machine Learning and Cybernetics(2020) [PDF]
5. 「基於 Transformer 的 NLP 任務模型概述」。 2020 15th Conference on Computer Science and Information Systems (FedCSIS) [PDF]
6. 「上下文嵌入調查」。 arXiv(2020) [PDF]
7. 「NLP 食譜：基於 Transformer 的深度學習架構的現代食譜」。 IEEE Access(2021) [PDF]
8. 「預訓練模式：過去、現在與未來」。 arXiv(2021) [PDF]
9. 「預訓練、提示與預測：自然語言處理中提示方法的系統調查」。 arXiv(2021) [PDF]
10. 「AMMUS：自然語言處理中基於 Transformer 的預訓練模型的調查」。 arXiv(2021) [PDF]
11. 「論基金會模式的機會與風險」。 arXiv(2021) [PDF]
12. 「自然語言處理的典範轉移」。 arXiv(2021) [PDF]
13. 「透過大型預訓練語言模型實現自然語言處理的最新進展：調查」。 arXiv(2021) [PDF]

基準

1. XNLI ：「XNLI：評估跨語言句子表示」。 EMNLP(2018) [PDF] [資料集]
2. GLUE ：「GLUE：自然語言理解的多任務基準和分析平台」。 ICLR(2019) [首頁]
3. SuperGLUE ：「SuperGLUE：通用語言理解系統的更黏性基準」。 NeurIPS(2019) [首頁]
4. CLUE ：「CLUE：中文理解評估基準」。 COLING(2020) [首頁]
5. XTREME ：「XTREME：用於評估跨語言泛化的大規模多語言多任務基準」。 ICML(2020) [首頁]
6. XGLUE ：「XGLUE：跨語言預先訓練、理解和產生的新基準資料集」。 EMNLP(2020) [首頁]
7. DialoGLUE ：「DialoGLUE：任務導向的對話的自然語言理解基準」。 arXiv(2020) [首頁]

產品生命週期管理設計

一般的

1. GPT ：「透過產生預訓練提高語言理解」。 OpenAI(2018) [專案]
2. GPT-2 ：「語言模型是無監督的多任務學習者」。 OpenAI(2019) [專案]
3. BERT ：「BERT：用於語言理解的深度雙向變壓器的預訓練」。 NAACL(2019) [PDF] [編號]
4. XLNet ：「XLNet：用於語言理解的廣義自回歸預訓練」。 NeurIPS(2019) [PDF] [代碼]
5. SBERT ：「Sentence-BERT：使用 Siamese BERT 網路的句子嵌入」。 ACL(2019) [PDF] [編號]
6. UniLM ：「自然語言理解與產生的統一語言模型預訓練」。 NeurIPS(2019) [PDF] [代碼]
7. MASS ：「MASS：用於語言產生的遮罩序列到序列預訓練」。 ICML(2019) [PDF] [編號]
8. Chinese-BERT-wwm ：「中文 BERT 的全字掩碼預訓練」。 arXiv(2019) [PDF] [代碼]
9. 「完形填空驅動的自註意力網路預訓練」。 EMNLP(2019) [PDF]
10. 「BERT 有嘴，它必須說話：BERT 作為馬可夫隨機場語言模型」。 Workshop on Methods for Optimizing and Evaluating Neural Language Generation(2019) [PDF] [代碼]
11. GPT-3 ：「語言模型是少樣本學習者」。 NeurIPS(2020) [PDF] [代碼]
12. T5 ：「使用統一的文字到文字轉換器來探索遷移學習的限制」。 JMLR(2020) [PDF] [代碼]
13. BART ：「BART：用於自然語言產生、翻譯和理解的去雜訊序列到序列預訓練」。 ACL(2020) [PDF] [代碼]
14. 多編碼器：「多編碼器：快速且準確的多句子評分的架構和預訓練策略」。 ICLR(2020) [PDF]
15. SpanBERT ：「SpanBERT：透過表示和預測跨度來改進預訓練」。 TACL(2020) [PDF] [編號]
16. ERNIE 2.0 ：「ERNIE 2.0：語言理解的持續預訓練架構」。 AAAI(2020) [PDF] [編號]
17. SemBERT ：「用於語言理解的語義感知 BERT」。 AAAI(2020) [PDF] [編號]
18. 「利用預先訓練的檢查點進行序列產生任務」。 TACL(2020) [PDF] [編號]
19. ProphetNet ：「ProphetNet：預測未來 N 元語法以進行序列到序列預訓練」。 EMNLP(2020) [PDF]
20. UniLMv2 ：「UniLMv2：用於統一語言模型預訓練的偽屏蔽語言模型」。 ICML(2020) [PDF] [編號]
21. MacBERT ：「重新檢視中文自然語言處理的預訓練模型」。 EMNLP(2020) [PDF] [編號]
22. MPNet ：「MPNet：語言理解的屏蔽和排列預訓練」。 arXiv(2020) [PDF] [代碼]
23. DEBERTA ：「DeBERTa：具有解纏注意力的解碼增強型 BERT」。 ICLR(2021) [PDF] [代碼]
24. PALM ：「PALM：預訓練用於情境條件產生的自編碼和自回歸語言模型」。 EMNLP(2020) [PDF]
25. Optimus ：「Optimus：透過潛在空間的預訓練建模來組織句子」。 EMNLP(2020) [PDF] [編號]
26. 「自我訓練改善了自然語言理解的預訓練」。 NAACL(2021) [PDF] [代碼]
27. CAPT ：「重新思考語言預訓練中的去噪自動編碼」。 EMNLP(2021) [PDF]
28. 「掩碼語言建模的簡單得令人沮喪的預訓練替代方案」。 EMNLP(2021) [PDF] [代碼]
29. 「卷積與自註意力：重新解釋預訓練語言模型中的相對位置」。 ACL(2021) [PDF] [代碼]
30. ERNIE-Doc ：「ERNIE-Doc：回顧性長文件建模變壓器」。 ACL(2021) [PDF] [代碼]
31. “預訓練通用語言表示”。 ACL(2021) [PDF] [代碼]

知識

1. ERNIE（百度） ：「ERNIE：透過知識整合增強表徵」。 arXiv(2019) [PDF] [代碼]
2. KnowBert ：「知識增強的上下文單字表示」。 EMNLP(2019) [PDF]
3. ERNIE（清華大學） ：「ERNIE：透過資訊實體增強語言表示」。 ACL(2019) [PDF] [編號]
4. COMET ：「COMET：用於自動知識圖建構的常識變壓器」。 ACL(2019) [PDF] [編號]
5. K-BERT ：「K-BERT：利用知識圖實現語言表示」。 AAAI(2020) [PDF] [編號]
6. WKLM ：「預訓練百科全書：弱監督知識預訓練語言模型」。 ICLR(2020) [PDF]
7. LUKE ：「LUKE：具有實體感知自註意力的深度上下文化實體表示」。 EMNLP(2020) [PDF] [編號]
8. K-Adapter ：「K-Adapter：使用適配器將知識注入到預先訓練的模型中」。 ICLR(2021) [PDF]
9. 開普勒：「開普勒：知識嵌入與預訓練語言表示的統一模型」。 TACL(2021) [PDF] [編號]
10. RuleBERT ：「RuleBERT：教導預訓練語言模型軟規則」。 EMNLP(2021) [PDF] [代碼]
11. BeliefBank ：「探索 BERT 令牌表示在解釋句子探測結果中的作用」。 EMNLP(2021) [PDF] [代碼]
12. Phrase-BERT ：「Phrase-BERT：改進了 BERT 的短語嵌入並應用於語料庫探索」。 EMNLP(2021) [PDF] [代碼]
13. 「文法增強預訓練模型」。 ACL(2021) [PDF] [代碼]
14. StructFormer ：「StructFormer：從掩碼語言建模中聯合無監督歸納依賴性和選區結構」。 ACL(2021) [PDF]
15. ERICA ：「ERICA：透過對比學習來提高預訓練語言模型的實體和關係理解」。 ACL(2021) [PDF] [代碼]
16. 「Transformer 語言模型的結構指南」。 ACL(2021) [PDF] [代碼]
17. HORNET ：「HORNET：以異質知識源豐富預訓練的語言表示」。 CIKM(2021) [PDF]
18. 「刪除冗餘，縮小不相關：語言預訓練的選擇性知識注入」。 IJCAI(2021) [PDF]

多種語言

1. XLM ：「跨語言語言模型預訓練」。 arXiv(2019) [PDF] [代碼]
2. 「用於零鏡頭跨語言遷移及超越的大規模多語言句子嵌入」。 TACL(2019) [PDF] [編號]
3. UDify ：「75 種語言，1 種模型：普遍解析出一般依賴關係」。 EMNLP(2019) [PDF] [編號]
4. Unicoder ：「Unicoder：透過多種跨語言任務進行預先訓練的通用語言編碼器」。 EMNLP(2019) [PDF]
5. XLM-R ：「大規模無監督跨語言表示學習」。 ACL(2020) [PDF]
6. 「上下文單字表示的多語言對齊」。 ICLR(2020) [PDF]
7. mBART ：「神經機器翻譯的多語言去雜訊預訓練」。 TACL(2020) [PDF] [編號]
8. mT5 ：「mT5：大規模多語言預訓練文字到文字轉換器」。 NAACL(2021) [PDF] [代碼]
9. InfoXLM ：「InfoXLM：跨語言語言模型預先訓練的資訊理論架構」。 NAACL(2021) [PDF] [代碼]
10. 「為跨語言語言模型預先訓練分配大詞彙量」。 EMNLP(2021) [PDF] [代碼]
11. ERNIE-M ：「ERNIE-M：透過將跨語言語義與單語言語料庫對齊來增強多語言表示」。 EMNLP(2021) [PDF] [代碼]
12. 「使用預訓練自動編碼器進行跨語言語言轉換的簡單幾何方法」。 EMNLP(2021) [PDF]
13. 「透過不確定性估計的自學促進跨語言遷移」。 EMNLP(2021) [PDF]
14. 「你的分詞器有多好？論多語言語言模型的單語表現」。 ACL(2021) [PDF] [代碼]
15. 「具有普遍依賴性學習的多語言預訓練」。 NeurIPS(2021) [PDF]

多式聯運

1. ViLBERT ：「ViLBERT：視覺和語言任務的預訓練任務無關的視覺語言表示」。 NeuralIPS(2019) [PDF]
2. LXMERT ：「LXMERT：從 Transformer 學習跨模態編碼器表示」。 EMNLP(2019) [PDF] [編號]
3. VideoBERT ：「VideoBERT：視訊和語言表示學習的聯合模型」 ICCV(2019) [PDF]
4. VisualBERT ：「VisualBERT：視覺和語言的簡單且高效能的基線」。 arXiv(2019) [PDF]
5. B2T2 ：「融合文字中偵測到的物件以進行視覺問答」。 EMNLP(2019) [PDF] [編號]
6. VL-BERT ：「VL-BERT：通用視覺語言表示的預訓練」。 ICLR(2020) [PDF] [代碼]
7. Unicoder-VL ：「Unicoder-VL：透過跨模態預訓練實現視覺和語言的通用編碼器」。 AAAI(2020) [PDF]
8. VLP ：「用於影像字幕和 VQA 的統一視覺語言預訓練」。 AAAI(2020) [PDF] [編號]
9. UNITER ：「UNITER：通用圖像文字表示學習」。 ECCV(2020) [PDF] [代碼]
10. 奧斯卡：「奧斯卡：視覺語言任務的物件語義對齊預訓練」。 ECCV(2020) [PDF] [代碼]
11. 「12合1：多任務視覺與語言表徵學習」。 CVPR(2020) [PDF] [代碼]
12. ActBERT ：「ActBERT：學習全域本地視訊文字表示」。 CVPR(2020) [PDF]
13. VLN ：「具有自我監督輔助推理任務的視覺語言導航」。 CVPR(2020) [PDF]
14. VILLA ：「視覺和語言表徵學習的大規模對抗訓練」。 arXiv(2020) [PDF] [代碼]
15. ImageBERT ：「ImageBERT：大規模弱監督影像文字資料的跨模態預訓練」。 arXiv(2020) [PDF]
16. ALIGN ：「透過吵雜的文字監督擴大視覺和視覺語言表示學習」。 ICML(2021) [PDF]
17. ClipBERT ：「少即是多：透過稀疏採樣進行視訊和語言學習的 ClipBERT」。 CVPR(2021) [PDF] [代碼]
18. DALL·E ：「零鏡頭文字到影像生成」。 arXiv(2021) [PDF] [代碼]
19. CLIP ：「從自然語言監督中學習可遷移的視覺模型」。 arXiv(2021) [PDF] [代碼]
20. IPT ：「預訓練影像處理變壓器」。 CVPR(2021) [PDF] [代碼]
21. CvT ：「CvT：將卷積引入視覺變壓器」。 ICCV(2021) [PDF] [代碼]
22. 「透過吵雜的文字監督擴大視覺和視覺語言表示學習」。 ICML(2021) [PDF]
23. TERA ：「TERA：語音 Transformer 編碼器表示的自監督學習」。 TASLP(2021) [PDF] [代碼]
24. CaiT ：「深入了解影像轉換器」。 ICCV(2021) [PDF] [代碼]
25. ViViT ：「ViViT：視訊視覺轉換器」。 ICCV(2021) [PDF] [代碼]
26. VirTex ：「VirTex：從文字註解中學習視覺表示」。 CVPR(2021) [PDF] [代碼]
27. M6 ：「M6：用於統一預訓練的多模態到多模態多任務巨型變壓器」。 KDD(2021) [PDF]
28. 「探索模態間：視覺和語言預訓練的自註意力視覺解析」。 NeurIPS(2021) [PDF]
29. GilBERT ：「GilBERT：模態不完整視覺語言任務的生成視覺語言預訓練」。 SIGIR(2021) [PDF]

資訊檢索

1. ORQA ：「弱監督開放域問答的潛在檢索」。 ACL(2019) [PDF]
2. REALM ：「REALM：檢索增強語言模型預訓練」。 arXiv(2020) [PDF]
3. RAG ：「知識密集型 NLP 任務的檢索增強生成」。 NeurIPS(2020) [PDF] [代碼]
4. DPR ：「開放域問答的密集段落檢索」。 EMNLP(2020) [PDF] [編號]
5. 「利用段落檢索和產生模型進行開放域問答」。 EACL(2021) [PDF] [代碼]

程式碼

1. CodeT5 ：「CodeT5：用於程式碼理解和產生的標識符感知統一預訓練編碼器-解碼器模型」。 EMNLP(2021) [PDF] [代碼]
2. Codex ：「評估在程式碼上訓練的大型語言模型」。 arXiv(2021) [PDF] [代碼]

其他的

1. ReasonBERT ：「ReasonBERT：透過遠端監督進行推理預訓練」。 EMNLP(2021) [PDF] [代碼]
2. 「來自 Transformer 語言模型的句子瓶頸自動編碼器」。 EMNLP(2021) [PDF] [代碼]
3. 「運算能力增強語言模式的素養」。 EMNLP(2021) [PDF] [代碼]
4. EnsLM ：「EnsLM：透過語意聚類實現資料多樣性的整合語言模型」。 ACL(2021) [PDF] [代碼]
5. 「反射解碼：超越使用現成語言模型的單向生成」。 ACL(2021) [PDF] [代碼]
6. BERTAC ：「BERTAC：透過對抗性預訓練卷積神經網路增強基於 Transformer 的語言模型」。 ACL(2021) [PDF] [代碼]
7. 「自然語言理解與隱私保護 BERT」。 CIKM(2021) [PDF]
8. BANG ：「BANG：透過大規模預訓練橋接自回歸和非自回歸生成」。 ICML(2021) [PDF] [代碼]

產品生命週期分析

知識

1. 《BERT 看什麼？ BlackBoxNLP(2019) [PDF] [代碼]
2. 「BERT 重新發現經典 NLP 流程」。 ACL(2019) [PDF]
3. 「多語言 BERT 有多多語言？」。 ACL(2019) [PDF]
4. 「在單字表示中尋找語法的結構探針」。 NAACL(2019) [PDF] [編號]
5. 「語言模型作為知識庫？」。 EMNLP(2019) [PDF] [編號]
6. 「BERT 從語言結構中學到了什麼？」。 ACL(2019) [PDF] [編號]
7. 「語言知識和語境表徵的可遷移性」。 NAACL(2019) [PDF]
8. 「評估 BERT 的句法能力」。 arXiv(2019) [PDF] [代碼]
9. 「探索自然語言參數的神經網路理解」 ACL(2019) [PDF]
10. 「語境化的單字表示的語境如何？比較 BERT、ELMo 和 GPT-2 嵌入的幾何結構」。 EMNLP(2019) [PDF]
11. 「可視化和測量 BERT 的幾何形狀」。 NeurIPS(2019) [PDF]
12. 「設計和解釋具有控制任務的探針」。 EMNLP(2019) [PDF]
13. 「芝麻開門：深入了解 BERT 的語言知識」。 BlackboxNLP(2019) [PDF] [代碼]
14. 「你從上下文中學到什麼？探索上下文單字表示中的句子結構」。 ICLR(2019) [PDF] [編號]
15. 「從預訓練模型中挖掘常識知識」。 EMNLP(2019) [PDF]
16. 「NLP 模型知道數字嗎？探索嵌入中的運算能力」。 EMNLP(2019) [PDF]
17. 「論單語表示的跨語言可遷移性」。 ACL(2020) [PDF]
18. 「多語言 BERT 的跨語言能力：實證研究」。 ICLR(2020) [PDF] [代碼]
19. 「BERT 不是：一套新的語言模型心理語言診斷的經驗教訓」。 TACL(2020) [PDF] [編號]
20. 「你可以將多少知識裝入語言模型的參數中？」。 EMNLP(2020) [PDF] [編號]
21. 「我們如何知道語言模型知道什麼？」。 TACL(2020) [PDF] [編號]
22. 「oLMpics-關於語言模型預訓練捕捉什麼」。 TACL(2020) [PDF] [編號]
23. 「具有最小描述長度的資訊理論探測」。 EMNLP(2020) [PDF] [編號]
24. 「從 BERT 中歸納關係知識」。 AAAI(2020) [PDF]
25. AutoPrompt ：「AutoPrompt：透過自動產生的提示從語言模型中獲取知識」。 EMNLP(2020) [PDF] [編號]
26. 「透過自我監督訓練的人工神經網路中的新興語言結構」。 PNAS(2020) [PDF]
27. 「評估預訓練語言模型中的常識」。 AAAI(2020) [PDF] [編號]
28. 「從 BERT 中歸納關係知識」。 AAAI(2020) [PDF]
29. 「編輯語言模型中的事實知識」。 EMNLP(2021) [PDF] [代碼]
30. 「語言模型需要多少預訓練資料來學習文法？」。 EMNLP(2021) [PDF]
31. 「繼母很刻薄，學者很自命不凡：預訓練的語言模型能了解你什麼？」。 EMNLP(2021) [PDF] [代碼]
32. 「將單字放入 BERT 的嘴裡：用偽詞導航上下文化向量空間」。 EMNLP(2021) [PDF] [代碼]
33. 「變壓器中句法規則學習的頻率影響」。 EMNLP(2021) [PDF] [代碼]
34. 「探索 BERT 令牌表示在解釋句子探測結果中的作用」。 EMNLP(2021) [PDF] [代碼]
35. 「BERT 有何驚訝？語言異常的分層偵測」。 ACL(2021) [PDF] [代碼]
36. 「神經語言模型中意義的隱式表示」。 ACL(2021) [PDF] [代碼]
37. 「知識豐富或受過教育的猜測？重新審視作為知識庫的語言模型」。 ACL(2021) [PDF] [代碼]

穩健性

1. 「攻擊與分析 NLP 的通用對抗性觸發器」。 EMNLP(2019) [PDF] [編號]
2. 「預先訓練的 Transformer 提高了分佈外的穩健性」。 ACL(2020) [PDF] [代碼]
3. BERT-ATTACK ：「BERT-ATTACK：使用 BERT 對 BERT 進行對抗性攻擊」。 EMNLP(2020) [PDF] [編號]
4. 「BERT 真的強大嗎？自然語言攻擊文本分類和蘊涵的強大基線」。 AAAI(2020) [PDF] [編號]
5. 「細節決定成敗：簡單的技巧提高了變形金剛的系統泛化能力」。 EMNLP(2021) [PDF] [代碼]
6. 「對噪音進行排序：測試預訓練語言模型中資訊處理的穩健性」。 EMNLP(2021) [PDF] [代碼]

稀疏性

1. 「十六個頭真的比一個好嗎？」。 NeurIPS(2019) [PDF] [代碼]
2. 「分析多頭自註意力：專門的頭承擔繁重的工作，其餘的可以被修剪」。 ACL(2019) [PDF] [編號]
3. 「揭示 BERT 的黑暗秘密」。 EMNLP(2019) [PDF]
4. 「預訓練 BERT 網路的彩票假設」。 NeurIPS(2020) [PDF] [代碼]
5. 「當 BERT 買彩券時，所有彩券都中獎了」。 EMNLP(2020) [PDF] [編號]

其他的

1. 「神經語言模型的縮放定律」。 arXiv(2020) [PDF]
2. 「從大型語言模型中提取訓練資料」。 arXiv(2020) [PDF] [代碼]
3. 「論隨機鸚鵡學舌的危險：語言模型會太大嗎？？」。 FACCT(2021) [PDF]
4. 「從大型語言模型中提取訓練資料」。 USENIX(2021) [PDF] [代碼]
5. 「掩碼語言模型與分佈假設：順序詞對預訓練的影響很小」。 EMNLP(2021) [PDF] [代碼]
6. 「變壓器訓練期間參數範數成長的影響：梯度下降的歸納偏差」。 EMNLP(2021) [PDF] [代碼]
7. 「用於解釋語言模型的離散積分梯度」。 EMNLP(2021) [PDF] [代碼]
8. 「遠端語言模型實際上使用遠端上下文嗎？」。 EMNLP(2021) [PDF]
9. 「表面形式競爭：為什麼最高機率的答案並不總是正確的」。 EMNLP(2021) [PDF] [代碼]
10. 「將殘差層和規範化層合併到屏蔽語言模型的分析中」。 EMNLP(2021) [PDF] [代碼]
11. 「序列長度是一個域：變壓器模型中基於長度的過度擬合」。 EMNLP(2021) [PDF]
12. 「預先訓練的捲積比預先訓練的 Transformer 更好嗎？」。 ACL(2021) [PDF]
13. 「位置人工製品透過屏蔽語言模型嵌入傳播」。 ACL(2021) [PDF]
14. 「什麼時候需要數十億字的預訓練資料？」。 ACL(2021) [PDF] [代碼]
15. 「BERT 之於 NLP 就像 AlexNet 之於 CV：預訓練語言模型能否辨識類比？」。 ACL(2021) [PDF] [代碼]
16. 「用人工語言檢視神經語言模型的歸納偏差」。 ACL(2021) [PDF] [代碼]
17. 「為什麼預訓練的語言模型有助於下游任務？頭部和提示調整的分析」。 NeurIPS(2021) [PDF]

高效率的產品生命週期管理

訓練

1. RoBERTa ：「RoBERTa：一種穩健優化的 BERT 預訓練方法」。 arXiv(2019) [PDF] [代碼]
2. 「透過漸進式堆疊有效訓練 BERT」。 ICML(2019) [PDF] [編號]
3. Megatron-LM ：「Megatron-LM：使用模型並行性訓練數十億參數語言模型」。 arXiv(2019) [PDF] [代碼]
4. ELECTRA ：「ELECTRA：將文字編碼器預先訓練為鑑別器而不是生成器」。 ICLR(2020) [PDF] [代碼]
5. 「深度學習的大批量最佳化：76 分鐘內訓練 BERT」。 ICLR(2020) [PDF] [代碼]
6. GShard ：「GShard：透過條件計算和自動分片擴展巨型模型」。 arXiv(2020) [PDF]
7. 管理員：「了解訓練變形金剛的難度」。 EMNLP(2020) [PDF] [編號]
8. ZeRO ：「ZeRO：訓練萬億參數模型的記憶體最佳化」。 SC20: International Conference for High Performance Computing, Networking, Storage and Analysis [PDF] [程式碼]
9. 開關變壓器：「開關變壓器：透過簡單且高效的稀疏性擴展到兆參數模型」。 arXiv(2021) [PDF] [代碼]
10. 「如何用學術預算訓練 BERT」。 EMNLP(2021) [PDF]
11. 「在小資料集上優化更深層的變壓器」。 ACL(2021) [PDF] [代碼]
12. 「EarlyBERT：透過早鳥彩券進行高效率 BERT 訓練」。 ACL(2021) [PDF] [代碼]

推理

1. 「BERT 失去耐心：快速而穩健的推理並提前退出」。 NeurIPS(2020) [PDF] [代碼]
2. GAML-BERT ：「GAML-BERT：透過梯度對齊相互學習改進 BERT 早期退出」。 EMNLP(2021) [PDF]
3. 「高效的最近鄰語言模型」。 EMNLP(2021) [PDF] [代碼]
4. GhostBERT ：「GhostBERT：透過廉價的操作為 BERT 產生更多功能」。 ACL(2021) [PDF] [代碼]
5. LeeBERT ：「LeeBERT：透過跨級優化學習了 BERT 的早期退出」。 ACL(2021) [PDF]
6. 「長度自適應變壓器：透過長度下降訓練一次，透過搜尋隨時使用」。 ACL(2021) [PDF] [代碼]
7. 「將 BERT 中的知識提煉成簡單的全連接神經網絡，以實現高效的垂直檢索」。 CIKM(2021) [PDF]

壓縮

1. DistilBERT ：「DistilBERT，BERT 的精煉版本：更小、更快、更便宜、更輕」。 arXiv(2019) [PDF] [代碼]
2. PKD ：「BERT 模型壓縮的病患知識蒸餾」。 EMNLP(2019) [PDF] [編號]
3. 「將 BERT 中的特定任務知識提煉成簡單的神經網路」。 arXiv(2019) [PDF]
4. Q8BERT ：「Q8BERT：量化 8 位 BERT」。 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing - NeurIPS 2019 [PDF]
5. ALBERT ：「ALBERT：用於語言表示自監督學習的 Lite BERT」。 ICLR(2020) [PDF] [代碼]
6. TinyBERT ：「TinyBERT：為自然語言理解提煉 BERT」。 EMNLP(2020) [PDF] [編號]
7. Layerdrop ：「透過結構化壓降按需減少變壓器深度」。 ICLR(2020) [PDF] [代碼]
8. Q-BERT ：「Q-BERT：基於 Hessian 的 BERT 超低精度量化」。 AAAI(2020) [PDF]
9. MobileBERT ：「MobileBERT：適用於資源有限設備的緊湊型任務無關 BERT」。 ACL(2020) [PDF] [代碼]
10. 「壓縮 BERT：研究權重剪枝對遷移學習的影響」。 5th Workshop on Representation Learning for NLP(2020) [PDF] [代碼]
11. MiniLM ：「MiniLM：用於預訓練 Transformer 任務無關壓縮的深度自註意力蒸餾」。 arXiv(2020) [PDF] [代碼]
12. FastBERT ：「FastBERT：具有自適應推理時間的自蒸餾 BERT」。 ACL(2020) [PDF] [代碼]
13. DeeBERT ：「DeeBERT：動態提前退出以加速 BERT 推理」。 ACL(2020) [PDF] [代碼]
14. 「壓縮基於變壓器的大規模模型：BERT 案例研究」。 TACL(2021) [PDF]
15. 「透過持續稀疏化中彩券」。 NeurIPS(2020) [PDF] [代碼]
16. SqueezeBERT ：「SqueezeBERT：電腦視覺可以教 NLP 哪些關於高效能神經網路的知識？」。 SustaiNLP(2020) [PDF]
17. Audio ALBERT ：「Audio Albert：用於音訊表示自監督學習的 Lite Bert」。 SLT(2021) [PDF] [代碼]
18. T2R ：「將預訓練 Transformer 微調為 RNN」。 EMNLP(2021) [PDF] [代碼]
19. 「超越保留的準確性：評估 BERT 壓縮的忠誠度和穩健性」。 EMNLP(2021) [PDF] [代碼]
20. Meta-KD ：「Meta-KD：跨域語言模型壓縮的元知識蒸餾框架」。 ACL(2021) [PDF] [代碼]
21. 「預訓練語言模型中的超級門票：從模型壓縮到提升泛化能力」。 ACL(2021) [PDF] [代碼]
22. BinaryBERT ：「BinaryBERT：突破 BERT 量化的極限」。 ACL(2021) [PDF] [代碼]
23. AutoTinyBERT ：「AutoTinyBERT：高效能預訓練語言模型的自動超參數最佳化」。 ACL(2021) [PDF] [代碼]
24. 《邊際效用遞減：探討 BERT 知識蒸餾的最低知識》。 ACL(2021) [PDF] [代碼]
25. 「基於矩陣乘積運算子對預訓練語言模型壓縮進行輕量級微調」。 ACL(2021) [PDF] [代碼]
26. NAS-BERT ：「NAS-BERT：任務無關和自適應大小的 BERT 壓迫與神經架構搜尋」。 KDD(2021) [PDF]

PLM 適配

兩級

1. 「STILT 上的句子編碼器：中間標記資料任務的補充訓練」。 arXiv(2018) [PDF] [代碼]
2. 「如何微調 BERT 進行文字分類？」。 CCL(2019) [PDF]
3. 「不要停止預訓練：使語言模型適應領域和任務」。 ACL(2020) [PDF] [代碼]
4. 「使用預訓練語言模型的中間任務遷移學習：何時以及為何有效？」。 ACL(2020) [PDF]
5. 「預訓練什麼？高效率的中間任務選擇」。 EMNLP(2021) [PDF] [代碼]
6. 「關於中級預訓練中掩蔽策略的影響」。 EMNLP(2021) [PDF]
7. TADPOLE ：「TADPOLE：透過 AnOmaLy 偵測進行任務適應預訓練」。 EMNLP(2021) [PDF]

多任務

1. MT-DNN ：「用於自然語言理解的多任務深度神經網路」。 ACL(2019) [PDF] [編號]
2. 「BAM！用於自然語言理解的重生多任務網絡」。 ACL(2019) [PDF] [編號]
3. 「透過知識蒸餾改進多任務深度神經網路以實現自然語言理解」。 arXiv(2019) [PDF] [代碼]
4. GradTS ：「GradTS：一種基於Transformer網路的梯度自動輔助任務選擇方法」。 EMNLP(2021) [PDF]
5. 「你腦子裡在想什麼？多任務 Transformer 模型中的緊急行為」。 EMNLP(2021) [PDF]
6. MTAdam ：「MTAdam：多個訓練損失項的自動平衡」。 EMNLP(2021) [PDF]
7. Muppet ：「Muppet：具有預先微調的大規模多任務表示」。 EMNLP(2021) [PDF]
8. 「幹細胞假說：使用 Transformer 編碼器進行多任務學習背後的困境」。 EMNLP(2021) [PDF] [代碼]
9. BERTGen ：「BERTGen：透過 BERT 產生多任務」。 ACL(2021) [PDF] [代碼]
10. 「透過共享超網路對 Transformer 進行參數高效的多任務微調」。 ACL(2021) [PDF] [代碼]

適配器

1. 「BERT 與 PAL：用於多任務學習中高效適應的投射注意力層」。 ICML(2019) [PDF] [編號]
2. 適配器：「NLP 的參數高效率遷移學習」。 ICML(2019) [PDF] [編號]
3. AdapterDrop ：「AdapterDrop：論變壓器中適配器的效率」。 EMNLP(2021) [PDF]
4. 「關於預訓練語言模型適應的基於適配器的調優的有效性」。 ACL(2021) [PDF]
5. 「學習從任務描述產生特定於任務的適配器」。 ACL(2021) [PDF] [代碼]

迅速的

1. PET ：「利用完形填空題進行少量文本分類與自然語言推理」。 EACL(2021) [PDF] [代碼]
2. 「重要的不僅僅是大小：小型語言模型也是小樣本學習者」。 NAACL(2021) [PDF] [代碼]
3. 「前綴調整：最佳化產生的連續提示」。 arXiv(2021) [PDF]
4. LM-BFF ：「讓預先訓練的語言模型更好地適應少樣本學習者」。 ACL(2021) [PDF] [代碼]
5. 「什麼是 GPT-3 的良好上下文範例？」。 arXiv(2021) [PDF] [代碼]
6. 「參數高效快速調整的規模力量」。 EMNLP(2021) [PDF] [代碼]
7. 「微調語言模式是零樣本學習者」。 arXiv(2021) [PDF]
8. 「使用前校準：提高語言模型的小樣本效能」。 ICML(2021) [PDF] [代碼]
9. TransPrompt ：「TransPrompt：少量文字分類的自動可轉移提示框架」。 EMNLP(2021) [PDF] [代碼]
10. SFLM ：「重新檢視語言模型小樣本學習的自我訓練」。 EMNLP(2021) [PDF] [代碼]
11. ADAPET ：「改進和簡化模式利用培訓」。 EMNLP(2021) [PDF] [代碼]

其他的

1. 「調整還是不調整？使預訓練的表示適應不同的任務」。 RepL4NLP(2019) [PDF]
2. 「一種從預訓練語言模型進行遷移學習的極其簡單的方法」。 NAACL(2019) [PDF] [編號]
3. 「微調預訓練語言模型：權重初始化、資料順序與提前停止」。 arXiv(2020) [PDF]
4. SMART ：「SMART：透過有原則的正規化優化對預訓練的自然語言模型進行穩健且高效的微調」。 EMNLP(2020) [PDF] [編號]
5. 「重新檢視少樣本 BERT 微調」。 ICLR(2021) [PDF]
6. Mirror-BERT ：「快速、有效和自我監督：將屏蔽語言模型轉變為通用詞彙和句子編碼器」。 EMNLP(2021) [PDF] [代碼]
7. 「預訓練還是註解？預算有限的領域適應」。 EMNLP(2021) [PDF] [代碼]
8. AVocaDo ：「AVocaDo：使詞彙適應下游領域的策略」。 EMNLP(2021) [PDF]
9. 兒童調整：「在大語言模式中養育孩子：邁向有效且可推廣的微調」。 EMNLP(2021) [PDF] [代碼]
10. 「使用 N 元語法表示來馴服預先訓練的語言模型以適應低資源域」。 ACL(2021) [PDF] [代碼]
11. LexFit ：「LexFit：預訓練語言模式的詞法微調」。 ACL(2021) [PDF] [代碼]
12. 「選擇資訊豐富的上下文可以改善語言模型的微調」。 ACL(2021) [PDF] [代碼]
13. 「微調預訓練語言模型的超參數最佳化的實證研究」。 ACL(2021) [PDF] [代碼]
14. 「預訓練的語言模型應該如何針對對抗魯棒性進行微調？」。 NeurIPS(2021) [PDF] [代碼]