PLMPapers

PLM论文

供稿：王小雷

BERT、GPT 等大规模预训练语言模型（PLM）取得了巨大成功，成为 NLP 领域的里程碑。

在这个仓库中，我们根据最新顶级会议（例如ACL、EMNLP、ICLR、ICML、NeurIPS）上的引用和发表的论文数量，收集了近年来一些具有代表性的PLM论文。

我们将不断更新存储库并欢迎拉取请求和问题！感谢您的星星和叉子！

目录

• 民意调查
• 基准
• 产品生命周期管理设计
  • 一般的
  • 知识
  • 多种语言
  • 多式联运
  • 信息检索
  • 代码
  • 其他的
• 产品生命周期分析
  • 知识
  • 鲁棒性
  • 稀疏性
  • 其他的
• 高效的产品生命周期管理
  • 训练
  • 推理
  • 压缩
• PLM 适配
  • 两级
  • 多任务
  • 适配器
  • 迅速的
  • 其他的

民意调查

1. “自然语言处理的预训练模型：一项调查”。 Science China Technological Sciences(2020) [PDF]
2. “哪个*BERT？组织情境化编码器的调查”。 EMNLP(2020) [PDF]
3. “BERT 学入门：我们对 BERT 工作原理的了解”。 TACL(2020) [PDF]
4. “从静态到动态的词表示：一项调查”。 International Journal of Machine Learning and Cybernetics(2020) [PDF]
5. “基于 Transformer 的 NLP 任务模型概述”。 2020 15th Conference on Computer Science and Information Systems (FedCSIS) [PDF]
6. “上下文嵌入调查”。 arXiv(2020) [PDF]
7. “NLP 食谱：基于 Transformer 的深度学习架构的现代食谱”。 IEEE Access(2021) [PDF]
8. “预训练模型：过去、现在和未来”。 arXiv(2021) [PDF]
9. “预训练、提示和预测：自然语言处理中提示方法的系统调查”。 arXiv(2021) [PDF]
10. “AMMUS：自然语言处理中基于 Transformer 的预训练模型的调查”。 arXiv(2021) [PDF]
11. “论基金会模型的机遇和风险”。 arXiv(2021) [PDF]
12. “自然语言处理的范式转变”。 arXiv(2021) [PDF]
13. “通过大型预训练语言模型实现自然语言处理的最新进展：调查”。 arXiv(2021) [PDF]

基准

1. XNLI ：“XNLI：评估跨语言句子表示”。 EMNLP(2018) [PDF] [数据集]
2. GLUE ：“GLUE：自然语言理解的多任务基准和分析平台”。 ICLR(2019) [主页]
3. SuperGLUE ：“SuperGLUE：通用语言理解系统的更粘性基准”。 NeurIPS(2019) [首页]
4. CLUE ：“CLUE：汉语理解评估基准”。 COLING(2020) [首页]
5. XTREME ：“XTREME：用于评估跨语言泛化的大规模多语言多任务基准”。 ICML(2020) [首页]
6. XGLUE ：“XGLUE：跨语言预训练、理解和生成的新基准数据集”。 EMNLP(2020) [主页]
7. DialoGLUE ：“DialoGLUE：面向任务的对话的自然语言理解基准”。 arXiv(2020) [主页]

产品生命周期管理设计

一般的

1. GPT ：“通过生成预训练提高语言理解”。 OpenAI(2018) [项目]
2. GPT-2 ：“语言模型是无监督的多任务学习者”。 OpenAI(2019) [项目]
3. BERT ：“BERT：用于语言理解的深度双向变压器的预训练”。 NAACL(2019) [PDF] [编号]
4. XLNet ：“XLNet：用于语言理解的广义自回归预训练”。 NeurIPS(2019) [PDF] [代码]
5. SBERT ：“Sentence-BERT：使用 Siamese BERT 网络的句子嵌入”。 ACL(2019) [PDF] [编号]
6. UniLM ：“自然语言理解和生成的统一语言模型预训练”。 NeurIPS(2019) [PDF] [代码]
7. MASS ：“MASS：用于语言生成的掩码序列到序列预训练”。 ICML(2019) [PDF] [编号]
8. Chinese-BERT-wwm ：“中文 BERT 的全字掩码预训练”。 arXiv(2019) [PDF] [代码]
9. “完形填空驱动的自注意力网络预训练”。 EMNLP(2019) [PDF]
10. “BERT 有嘴，它必须说话：BERT 作为马尔可夫随机场语言模型”。 Workshop on Methods for Optimizing and Evaluating Neural Language Generation(2019) [PDF] [代码]
11. GPT-3 ：“语言模型是少样本学习者”。 NeurIPS(2020) [PDF] [代码]
12. T5 ：“使用统一的文本到文本转换器探索迁移学习的局限性”。 JMLR(2020) [PDF] [代码]
13. BART ：“BART：用于自然语言生成、翻译和理解的去噪序列到序列预训练”。 ACL(2020) [PDF] [代码]
14. 多编码器：“多编码器：快速准确的多句子评分的架构和预训练策略”。 ICLR(2020) [PDF]
15. SpanBERT ：“SpanBERT：通过表示和预测跨度来改进预训练”。 TACL(2020) [PDF] [编号]
16. ERNIE 2.0 ：“ERNIE 2.0：语言理解的持续预训练框架”。 AAAI(2020) [PDF] [编号]
17. SemBERT ：“用于语言理解的语义感知 BERT”。 AAAI(2020) [PDF] [编号]
18. “利用预先训练的检查点进行序列生成任务”。 TACL(2020) [PDF] [编号]
19. ProphetNet ：“ProphetNet：预测未来 N 元语法以进行序列到序列预训练”。 EMNLP(2020) [PDF]
20. UniLMv2 ：“UniLMv2：用于统一语言模型预训练的伪屏蔽语言模型”。 ICML(2020) [PDF] [代码]
21. MacBERT ：“重新审视中文自然语言处理的预训练模型”。 EMNLP(2020) [PDF] [编号]
22. MPNet ：“MPNet：语言理解的屏蔽和排列预训练”。 arXiv(2020) [PDF] [代码]
23. DEBERTA ：“DeBERTa：具有解缠注意力的解码增强型 BERT”。 ICLR(2021) [PDF] [代码]
24. PALM ：“PALM：预训练用于上下文条件生成的自编码和自回归语言模型”。 EMNLP(2020) [PDF]
25. Optimus ：“Optimus：通过潜在空间的预训练建模来组织句子”。 EMNLP(2020) [PDF] [编号]
26. “自我训练改善了自然语言理解的预训练”。 NAACL(2021) [PDF] [代码]
27. CAPT ：“重新思考语言预训练中的去噪自动编码”。 EMNLP(2021) [PDF]
28. “掩码语言建模的简单得令人沮丧的预训练替代方案”。 EMNLP(2021) [PDF] [代码]
29. “卷积和自注意力：重新解释预训练语言模型中的相对位置”。 ACL(2021) [PDF] [代码]
30. ERNIE-Doc ：“ERNIE-Doc：回顾性长文档建模变压器”。 ACL(2021) [PDF] [代码]
31. “预训练通用语言表示”。 ACL(2021) [PDF] [代码]

知识

1. ERNIE（百度） ：“ERNIE：通过知识整合增强表征”。 arXiv(2019) [PDF] [代码]
2. KnowBert ：“知识增强的上下文单词表示”。 EMNLP(2019) [PDF]
3. ERNIE（清华大学） ：“ERNIE：通过信息实体增强语言表示”。 ACL(2019) [PDF] [编号]
4. COMET ：“COMET：用于自动知识图构建的常识变压器”。 ACL(2019) [PDF] [编号]
5. K-BERT ：“K-BERT：利用知识图实现语言表示”。 AAAI(2020) [PDF] [编号]
6. WKLM ：“预训练百科全书：弱监督知识预训练语言模型”。 ICLR(2020) [PDF]
7. LUKE ：“LUKE：具有实体感知自注意力的深度上下文化实体表示”。 EMNLP(2020) [PDF] [编号]
8. K-Adapter ：“K-Adapter：使用适配器将知识注入到预先训练的模型中”。 ICLR(2021) [PDF]
9. 开普勒：“开普勒：知识嵌入和预训练语言表示的统一模型”。 TACL(2021) [PDF] [编号]
10. RuleBERT ：“RuleBERT：向预训练语言模型教授软规则”。 EMNLP(2021) [PDF] [代码]
11. BeliefBank ：“探索 BERT 令牌表示在解释句子探测结果中的作用”。 EMNLP(2021) [PDF] [代码]
12. Phrase-BERT ：“Phrase-BERT：改进了 BERT 的短语嵌入并应用于语料库探索”。 EMNLP(2021) [PDF] [代码]
13. “语法增强预训练模型”。 ACL(2021) [PDF] [代码]
14. StructFormer ：“StructFormer：从掩码语言建模中联合无监督归纳依赖性和选区结构”。 ACL(2021) [PDF]
15. ERICA ：“ERICA：通过对比学习提高预训练语言模型的实体和关系理解”。 ACL(2021) [PDF] [代码]
16. “Transformer 语言模型的结构指南”。 ACL(2021) [PDF] [代码]
17. HORNET ：“HORNET：用异构知识源丰富预训练的语言表示”。 CIKM(2021) [PDF]
18. “删除冗余，缩小不相关：语言预训练的选择性知识注入”。 IJCAI(2021) [PDF]

多种语言

1. XLM ：“跨语言语言模型预训练”。 arXiv(2019) [PDF] [代码]
2. “用于零镜头跨语言迁移及超越的大规模多语言句子嵌入”。 TACL(2019) [PDF] [编号]
3. UDify ：“75 种语言，1 种模型：普遍解析通用依赖关系”。 EMNLP(2019) [PDF] [编号]
4. Unicoder ：“Unicoder：通过多种跨语言任务进行预训练的通用语言编码器”。 EMNLP(2019) [PDF]
5. XLM-R ：“大规模无监督跨语言表示学习”。 ACL(2020) [PDF]
6. “上下文单词表示的多语言对齐”。 ICLR(2020) [PDF]
7. mBART ：“神经机器翻译的多语言去噪预训练”。 TACL(2020) [PDF] [编号]
8. mT5 ：“mT5：大规模多语言预训练文本到文本转换器”。 NAACL(2021) [PDF] [代码]
9. InfoXLM ：“InfoXLM：跨语言语言模型预训练的信息理论框架”。 NAACL(2021) [PDF] [代码]
10. “为跨语言语言模型预训练分配大词汇量”。 EMNLP(2021) [PDF] [代码]
11. ERNIE-M ：“ERNIE-M：通过将跨语言语义与单语言语料库对齐来增强多语言表示”。 EMNLP(2021) [PDF] [代码]
12. “使用预训练自动编码器进行跨语言语言转换的简单几何方法”。 EMNLP(2021) [PDF]
13. “通过不确定性估计的自学促进跨语言迁移”。 EMNLP(2021) [PDF]
14. “你的分词器有多好？论多语言语言模型的单语性能”。 ACL(2021) [PDF] [代码]
15. “具有普遍依赖性学习的多语言预训练”。 NeurIPS(2021) [PDF]

多式联运

1. ViLBERT ：“ViLBERT：预训练视觉和语言任务的与任务无关的视觉语言表示”。 NeuralIPS(2019) [PDF]
2. LXMERT ：“LXMERT：从 Transformer 学习跨模态编码器表示”。 EMNLP(2019) [PDF] [编号]
3. VideoBERT ：“VideoBERT：视频和语言表示学习的联合模型” ICCV(2019) [PDF]
4. VisualBERT ：“VisualBERT：视觉和语言的简单且高性能的基线”。 arXiv(2019) [PDF]
5. B2T2 ：“融合文本中检测到的对象以进行视觉问答”。 EMNLP(2019) [PDF] [编号]
6. VL-BERT ：“VL-BERT：通用视觉语言表示的预训练”。 ICLR(2020) [PDF] [代码]
7. Unicoder-VL ：“Unicoder-VL：通过跨模态预训练实现视觉和语言的通用编码器”。 AAAI(2020) [PDF]
8. VLP ：“用于图像字幕和 VQA 的统一视觉语言预训练”。 AAAI(2020) [PDF] [编号]
9. UNITER ：“UNITER：通用图像文本表示学习”。 ECCV(2020) [PDF] [代码]
10. 奥斯卡：“奥斯卡：视觉语言任务的对象语义对齐预训练”。 ECCV(2020) [PDF] [代码]
11. “12合1：多任务视觉和语言表示学习”。 CVPR(2020) [PDF] [代码]
12. ActBERT ：“ActBERT：学习全局-本地视频-文本表示”。 CVPR(2020) [PDF]
13. VLN ：“具有自监督辅助推理任务的视觉语言导航”。 CVPR(2020) [PDF]
14. VILLA ：“视觉和语言表征学习的大规模对抗训练”。 arXiv(2020) [PDF] [代码]
15. ImageBERT ：“ImageBERT：大规模弱监督图像文本数据的跨模态预训练”。 arXiv(2020) [PDF]
16. ALIGN ：“通过嘈杂的文本监督扩大视觉和视觉语言表示学习”。 ICML(2021) [PDF]
17. ClipBERT ：“少即是多：通过稀疏采样进行视频和语言学习的 ClipBERT”。 CVPR(2021) [PDF] [代码]
18. DALL·E ：“零镜头文本到图像生成”。 arXiv(2021) [PDF] [代码]
19. CLIP ：“从自然语言监督中学习可迁移的视觉模型”。 arXiv(2021) [PDF] [代码]
20. IPT ：“预训练图像处理变压器”。 CVPR(2021) [PDF] [代码]
21. CvT ：“CvT：将卷积引入视觉变压器”。 ICCV(2021) [PDF] [代码]
22. “通过嘈杂的文本监督扩大视觉和视觉语言表示学习”。 ICML(2021) [PDF]
23. TERA ：“TERA：语音 Transformer 编码器表示的自监督学习”。 TASLP(2021) [PDF] [代码]
24. CaiT ：“深入了解图像转换器”。 ICCV(2021) [PDF] [代码]
25. ViViT ：“ViViT：视频视觉转换器”。 ICCV(2021) [PDF] [代码]
26. VirTex ：“VirTex：从文本注释中学习视觉表示”。 CVPR(2021) [PDF] [代码]
27. M6 ：“M6：用于统一预训练的多模态到多模态多任务巨型变压器”。 KDD(2021) [PDF]
28. “探索模态间：视觉和语言预训练的自注意力视觉解析”。 NeurIPS(2021) [PDF]
29. GilBERT ：“GilBERT：模态不完整视觉语言任务的生成视觉语言预训练”。 SIGIR(2021) [PDF]

信息检索

1. ORQA ：“弱监督开放域问答的潜在检索”。 ACL(2019) [PDF]
2. REALM ：“REALM：检索增强语言模型预训练”。 arXiv(2020) [PDF]
3. RAG ：“知识密集型 NLP 任务的检索增强生成”。 NeurIPS(2020) [PDF] [代码]
4. DPR ：“开放域问答的密集段落检索”。 EMNLP(2020) [PDF] [编号]
5. “利用段落检索和生成模型进行开放域问答”。 EACL(2021) [PDF] [代码]

代码

1. CodeT5 ：“CodeT5：用于代码理解和生成的标识符感知统一预训练编码器-解码器模型”。 EMNLP(2021) [PDF] [代码]
2. Codex ：“评估在代码上训练的大型语言模型”。 arXiv(2021) [PDF] [代码]

其他的

1. ReasonBERT ：“ReasonBERT：通过远程监督进行推理预训练”。 EMNLP(2021) [PDF] [代码]
2. “来自 Transformer 语言模型的句子瓶颈自动编码器”。 EMNLP(2021) [PDF] [代码]
3. “计算能力增强语言模型的素养”。 EMNLP(2021) [PDF] [代码]
4. EnsLM ：“EnsLM：通过语义聚类实现数据多样性的集成语言模型”。 ACL(2021) [PDF] [代码]
5. “反射解码：超越使用现成语言模型的单向生成”。 ACL(2021) [PDF] [代码]
6. BERTAC ：“BERTAC：通过对抗性预训练卷积神经网络增强基于 Transformer 的语言模型”。 ACL(2021) [PDF] [代码]
7. “自然语言理解与隐私保护 BERT”。 CIKM(2021) [PDF]
8. BANG ：“BANG：通过大规模预训练桥接自回归和非自回归生成”。 ICML(2021) [PDF] [代码]

产品生命周期分析

知识

1. 《BERT 看什么？BERT 注意力分析》。 BlackBoxNLP(2019) [PDF] [代码]
2. “BERT 重新发现经典 NLP 流程”。 ACL(2019) [PDF]
3. “多语言 BERT 有多多语言？”。 ACL(2019) [PDF]
4. “在单词表示中查找语法的结构探针”。 NAACL(2019) [PDF] [编号]
5. “语言模型作为知识库？”。 EMNLP(2019) [PDF] [编号]
6. “BERT 从语言结构中学到了什么？”。 ACL(2019) [PDF] [编号]
7. “语言知识和语境表征的可转移性”。 NAACL(2019) [PDF]
8. “评估 BERT 的句法能力”。 arXiv(2019) [PDF] [代码]
9. “探索自然语言参数的神经网络理解” ACL(2019) [PDF]
10. “语境化的单词表示的语境如何？比较 BERT、ELMo 和 GPT-2 嵌入的几何结构”。 EMNLP(2019) [PDF]
11. “可视化和测量 BERT 的几何形状”。 NeurIPS(2019) [PDF]
12. “设计和解释具有控制任务的探针”。 EMNLP(2019) [PDF]
13. “芝麻开门：深入了解 BERT 的语言知识”。 BlackboxNLP(2019) [PDF] [代码]
14. “你从上下文中学到什么？探索上下文单词表示中的句子结构”。 ICLR(2019) [PDF] [编号]
15. “从预训练模型中挖掘常识知识”。 EMNLP(2019) [PDF]
16. “NLP 模型知道数字吗？探索嵌入中的计算能力”。 EMNLP(2019) [PDF]
17. “论单语表示的跨语言可迁移性”。 ACL(2020) [PDF]
18. “多语言 BERT 的跨语言能力：实证研究”。 ICLR(2020) [PDF] [代码]
19. “BERT 不是什么：一套新的语言模型心理语言诊断的经验教训”。 TACL(2020) [PDF] [编号]
20. “你可以将多少知识装入语言模型的参数中？”。 EMNLP(2020) [PDF] [编号]
21. “我们如何知道语言模型知道什么？”。 TACL(2020) [PDF] [编号]
22. “oLMpics-关于语言模型预训练捕获的内容”。 TACL(2020) [PDF] [编号]
23. “具有最小描述长度的信息论探测”。 EMNLP(2020) [PDF] [编号]
24. “从 BERT 中归纳关系知识”。 AAAI(2020) [PDF]
25. AutoPrompt ：“AutoPrompt：通过自动生成的提示从语言模型中获取知识”。 EMNLP(2020) [PDF] [编号]
26. “通过自我监督训练的人工神经网络中的新兴语言结构”。 PNAS(2020) [PDF]
27. “评估预训练语言模型中的常识”。 AAAI(2020) [PDF] [编号]
28. “从 BERT 中归纳关系知识”。 AAAI(2020) [PDF]
29. “编辑语言模型中的事实知识”。 EMNLP(2021) [PDF] [代码]
30. “语言模型需要多少预训练数据来学习语法？”。 EMNLP(2021) [PDF]
31. “继母很刻薄，学者很自命不凡：预训练的语言模型能了解你什么？”。 EMNLP(2021) [PDF] [代码]
32. “将单词放入 BERT 的嘴里：用伪词导航上下文化向量空间”。 EMNLP(2021) [PDF] [代码]
33. “变压器中句法规则学习的频率影响”。 EMNLP(2021) [PDF] [代码]
34. “探索 BERT 令牌表示在解释句子探测结果中的作用”。 EMNLP(2021) [PDF] [代码]
35. “BERT 有何惊喜？语言异常的分层检测”。 ACL(2021) [PDF] [代码]
36. “神经语言模型中意义的隐式表示”。 ACL(2021) [PDF] [代码]
37. “知识丰富或受过教育的猜测？重新审视作为知识库的语言模型”。 ACL(2021) [PDF] [代码]

鲁棒性

1. “攻击和分析 NLP 的通用对抗性触发器”。 EMNLP(2019) [PDF] [编号]
2. “预训练的 Transformer 提高了分布外的鲁棒性”。 ACL(2020) [PDF] [代码]
3. BERT-ATTACK ：“BERT-ATTACK：使用 BERT 对 BERT 进行对抗性攻击”。 EMNLP(2020) [PDF] [编号]
4. “BERT 真的强大吗？自然语言攻击文本分类和蕴涵的强大基线”。 AAAI(2020) [PDF] [编号]
5. “细节决定成败：简单的技巧提高了变形金刚的系统泛化能力”。 EMNLP(2021) [PDF] [代码]
6. “对噪音进行排序：测试预训练语言模型中信息处理的稳健性”。 EMNLP(2021) [PDF] [代码]

稀疏性

1. “十六个头真的比一个好吗？”。 NeurIPS(2019) [PDF] [代码]
2. “分析多头自注意力：专门的头承担繁重的工作，其余的可以被修剪”。 ACL(2019) [PDF] [编号]
3. “揭示 BERT 的黑暗秘密”。 EMNLP(2019) [PDF]
4. “预训练 BERT 网络的彩票假设”。 NeurIPS(2020) [PDF] [代码]
5. “当 BERT 买彩票时，所有彩票都中奖了”。 EMNLP(2020) [PDF] [编号]

其他的

1. “神经语言模型的缩放定律”。 arXiv(2020) [PDF]
2. “从大型语言模型中提取训练数据”。 arXiv(2020) [PDF] [代码]
3. “论随机鹦鹉学舌的危险：语言模型会太大吗？？”。 FACCT(2021) [PDF]
4. “从大型语言模型中提取训练数据”。 USENIX(2021) [PDF] [代码]
5. “掩码语言模型和分布假设：顺序词对预训练的影响很小”。 EMNLP(2021) [PDF] [代码]
6. “变压器训练期间参数范数增长的影响：梯度下降的归纳偏差”。 EMNLP(2021) [PDF] [代码]
7. “用于解释语言模型的离散积分梯度”。 EMNLP(2021) [PDF] [代码]
8. “远程语言模型实际上使用远程上下文吗？”。 EMNLP(2021) [PDF]
9. “表面形式竞争：为什么最高概率的答案并不总是正确的”。 EMNLP(2021) [PDF] [代码]
10. “将残差层和规范化层合并到屏蔽语言模型的分析中”。 EMNLP(2021) [PDF] [代码]
11. “序列长度是一个域：变压器模型中基于长度的过度拟合”。 EMNLP(2021) [PDF]
12. “预训练的卷积比预训练的 Transformer 更好吗？”。 ACL(2021) [PDF]
13. “位置人工制品通过屏蔽语言模型嵌入传播”。 ACL(2021) [PDF]
14. “什么时候需要数十亿字的预训练数据？”。 ACL(2021) [PDF] [代码]
15. “BERT 之于 NLP 就像 AlexNet 之于 CV：预训练语言模型能否识别类比？”。 ACL(2021) [PDF] [代码]
16. “用人工语言检查神经语言模型的归纳偏差”。 ACL(2021) [PDF] [代码]
17. “为什么预训练的语言模型有助于下游任务？头部和提示调整的分析”。 NeurIPS(2021) [PDF]

高效的产品生命周期管理

训练

1. RoBERTa ：“RoBERTa：一种稳健优化的 BERT 预训练方法”。 arXiv(2019) [PDF] [代码]
2. “通过渐进式堆叠有效训练 BERT”。 ICML(2019) [PDF] [编号]
3. Megatron-LM ：“Megatron-LM：使用模型并行性训练数十亿参数语言模型”。 arXiv(2019) [PDF] [代码]
4. ELECTRA ：“ELECTRA：将文本编码器预训练为鉴别器而不是生成器”。 ICLR(2020) [PDF] [代码]
5. “深度学习的大批量优化：76 分钟内训练 BERT”。 ICLR(2020) [PDF] [代码]
6. GShard ：“GShard：通过条件计算和自动分片扩展巨型模型”。 arXiv(2020) [PDF]
7. 管理员：“了解训练变形金刚的难度”。 EMNLP(2020) [PDF] [编号]
8. ZeRO ：“ZeRO：训练万亿参数模型的内存优化”。 SC20: International Conference for High Performance Computing, Networking, Storage and Analysis [PDF] [代码]
9. 开关变压器：“开关变压器：通过简单高效的稀疏性扩展到万亿参数模型”。 arXiv(2021) [PDF] [代码]
10. “如何用学术预算训练 BERT”。 EMNLP(2021) [PDF]
11. “在小数据集上优化更深层次的变压器”。 ACL(2021) [PDF] [代码]
12. “EarlyBERT：通过早鸟彩票进行高效 BERT 训练”。 ACL(2021) [PDF] [代码]

推理

1. “BERT 失去耐心：快速而稳健的推理并提前退出”。 NeurIPS(2020) [PDF] [代码]
2. GAML-BERT ：“GAML-BERT：通过梯度对齐相互学习改进 BERT 早期退出”。 EMNLP(2021) [PDF]
3. “高效的最近邻语言模型”。 EMNLP(2021) [PDF] [代码]
4. GhostBERT ：“GhostBERT：通过廉价的操作为 BERT 生成更多功能”。 ACL(2021) [PDF] [代码]
5. LeeBERT ：“LeeBERT：通过跨级优化学习了 BERT 的早期退出”。 ACL(2021) [PDF]
6. “长度自适应变压器：通过长度下降训练一次，通过搜索随时使用”。 ACL(2021) [PDF] [代码]
7. “将 BERT 中的知识提炼成简单的全连接神经网络，以实现高效的垂直检索”。 CIKM(2021) [PDF]

压缩

1. DistilBERT ：“DistilBERT，BERT 的精炼版本：更小、更快、更便宜、更轻”。 arXiv(2019) [PDF] [代码]
2. PKD ：“BERT 模型压缩的患者知识蒸馏”。 EMNLP(2019) [PDF] [编号]
3. “将 BERT 中的特定任务知识提炼成简单的神经网络”。 arXiv(2019) [PDF]
4. Q8BERT ：“Q8BERT：量化 8 位 BERT”。 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing - NeurIPS 2019 [PDF]
5. ALBERT ：“ALBERT：用于语言表示自监督学习的 Lite BERT”。 ICLR(2020) [PDF] [代码]
6. TinyBERT ：“TinyBERT：为自然语言理解提炼 BERT”。 EMNLP(2020) [PDF] [编号]
7. Layerdrop ：“通过结构化压降按需减少变压器深度”。 ICLR(2020) [PDF] [代码]
8. Q-BERT ：“Q-BERT：基于 Hessian 的 BERT 超低精度量化”。 AAAI(2020) [PDF]
9. MobileBERT ：“MobileBERT：适用于资源有限设备的紧凑型任务无关 BERT”。 ACL(2020) [PDF] [代码]
10. “压缩 BERT：研究权重剪枝对迁移学习的影响”。 5th Workshop on Representation Learning for NLP(2020) [PDF] [代码]
11. MiniLM ：“MiniLM：用于预训练 Transformer 任务无关压缩的深度自注意力蒸馏”。 arXiv(2020) [PDF] [代码]
12. FastBERT ：“FastBERT：具有自适应推理时间的自蒸馏 BERT”。 ACL(2020) [PDF] [代码]
13. DeeBERT ：“DeeBERT：动态提前退出以加速 BERT 推理”。 ACL(2020) [PDF] [代码]
14. “压缩基于变压器的大规模模型：BERT 案例研究”。 TACL(2021) [PDF]
15. “通过持续稀疏化中彩票”。 NeurIPS(2020) [PDF] [代码]
16. SqueezeBERT ：“SqueezeBERT：计算机视觉可以教 NLP 哪些关于高效神经网络的知识？”。 SustaiNLP(2020) [PDF]
17. Audio ALBERT ：“Audio Albert：用于音频表示自监督学习的 Lite Bert”。 SLT(2021) [PDF] [代码]
18. T2R ：“将预训练的 Transformer 微调为 RNN”。 EMNLP(2021) [PDF] [代码]
19. “超越保留的准确性：评估 BERT 压缩的忠诚度和鲁棒性”。 EMNLP(2021) [PDF] [代码]
20. Meta-KD ：“Meta-KD：跨域语言模型压缩的元知识蒸馏框架”。 ACL(2021) [PDF] [代码]
21. “预训练语言模型中的超级门票：从模型压缩到提高泛化能力”。 ACL(2021) [PDF] [代码]
22. BinaryBERT ：“BinaryBERT：突破 BERT 量化的极限”。 ACL(2021) [PDF] [代码]
23. AutoTinyBERT ：“AutoTinyBERT：高效预训练语言模型的自动超参数优化”。 ACL(2021) [PDF] [代码]
24. 《边际效用递减：探索 BERT 知识蒸馏的最低知识》。 ACL(2021) [PDF] [代码]
25. “基于矩阵乘积运算符对预训练语言模型压缩进行轻量级微调”。 ACL(2021) [PDF] [代码]
26. NAS-BERT ：“NAS-BERT：任务无关和自适应大小的 BERT 压缩与神经架构搜索”。 KDD(2021) [PDF]

PLM 适配

两级

1. “STILT 上的句子编码器：中间标记数据任务的补充训练”。 arXiv(2018) [PDF] [代码]
2. “如何微调 BERT 进行文本分类？”。 CCL(2019) [PDF]
3. “不要停止预训练：使语言模型适应领域和任务”。 ACL(2020) [PDF] [代码]
4. “使用预训练语言模型的中间任务迁移学习：何时以及为何有效？”。 ACL(2020) [PDF]
5. “预训练什么？高效的中间任务选择”。 EMNLP(2021) [PDF] [代码]
6. “关于中级预训练中掩蔽策略的影响”。 EMNLP(2021) [PDF]
7. TADPOLE ：“TADPOLE：通过 AnOmaLy 检测进行任务适应预训练”。 EMNLP(2021) [PDF]

多任务

1. MT-DNN ：“用于自然语言理解的多任务深度神经网络”。 ACL(2019) [PDF] [编号]
2. “BAM！用于自然语言理解的重生多任务网络”。 ACL(2019) [PDF] [编号]
3. “通过知识蒸馏改进多任务深度神经网络以实现自然语言理解”。 arXiv(2019) [PDF] [代码]
4. GradTS ：“GradTS：一种基于Transformer网络的梯度自动辅助任务选择方法”。 EMNLP(2021) [PDF]
5. “你脑子里在想什么？多任务 Transformer 模型中的紧急行为”。 EMNLP(2021) [PDF]
6. MTAdam ：“MTAdam：多个训练损失项的自动平衡”。 EMNLP(2021) [PDF]
7. Muppet ：“Muppet：具有预微调的大规模多任务表示”。 EMNLP(2021) [PDF]
8. “干细胞假说：使用 Transformer 编码器进行多任务学习背后的困境”。 EMNLP(2021) [PDF] [代码]
9. BERTGen ：“BERTGen：通过 BERT 生成多任务”。 ACL(2021) [PDF] [代码]
10. “通过共享超网络对 Transformer 进行参数高效的多任务微调”。 ACL(2021) [PDF] [代码]

适配器

1. “BERT 和 PAL：用于多任务学习中高效适应的投射注意力层”。 ICML(2019) [PDF] [编号]
2. 适配器：“NLP 的参数高效迁移学习”。 ICML(2019) [PDF] [编号]
3. AdapterDrop ：“AdapterDrop：论变压器中适配器的效率”。 EMNLP(2021) [PDF]
4. “关于预训练语言模型适应的基于适配器的调优的有效性”。 ACL(2021) [PDF]
5. “学习从任务描述生成特定于任务的适配器”。 ACL(2021) [PDF] [代码]

迅速的

1. PET ：“利用完形填空问题进行少量文本分类和自然语言推理”。 EACL(2021) [PDF] [代码]
2. “重要的不仅仅是大小：小型语言模型也是小样本学习者”。 NAACL(2021) [PDF] [代码]
3. “前缀调整：优化生成的连续提示”。 arXiv(2021) [PDF]
4. LM-BFF ：“让预训练的语言模型更好地适应少样本学习者”。 ACL(2021) [PDF] [代码]
5. “什么是 GPT-3 的良好上下文示例？”。 arXiv(2021) [PDF] [代码]
6. “参数高效快速调整的规模力量”。 EMNLP(2021) [PDF] [代码]
7. “微调语言模型是零样本学习者”。 arXiv(2021) [PDF]
8. “使用前校准：提高语言模型的小样本性能”。 ICML(2021) [PDF] [代码]
9. TransPrompt ：“TransPrompt：面向少量文本分类的自动可转移提示框架”。 EMNLP(2021) [PDF] [代码]
10. SFLM ：“重新审视语言模型小样本学习的自我训练”。 EMNLP(2021) [PDF] [代码]
11. ADAPET ：“改进和简化模式利用培训”。 EMNLP(2021) [PDF] [代码]

其他的

1. “调整还是不调整？使预训练的表示适应不同的任务”。 RepL4NLP(2019) [PDF]
2. “一种从预训练语言模型进行迁移学习的极其简单的方法”。 NAACL(2019) [PDF] [编号]
3. “微调预训练语言模型：权重初始化、数据顺序和提前停止”。 arXiv(2020) [PDF]
4. SMART ：“SMART：通过有原则的正则化优化对预训练的自然语言模型进行鲁棒且高效的微调”。 EMNLP(2020) [PDF] [编号]
5. “重新审视少样本 BERT 微调”。 ICLR(2021) [PDF]
6. Mirror-BERT ：“快速、有效和自我监督：将屏蔽语言模型转变为通用词汇和句子编码器”。 EMNLP(2021) [PDF] [代码]
7. “预训练还是注释？预算有限的领域适应”。 EMNLP(2021) [PDF] [代码]
8. AVocaDo ：“AVocaDo：使词汇适应下游领域的策略”。 EMNLP(2021) [PDF]
9. 儿童调整：“在大语言模型中抚养孩子：迈向有效且可推广的微调”。 EMNLP(2021) [PDF] [代码]
10. “使用 N 元语法表示来驯服预先训练的语言模型以适应低资源域”。 ACL(2021) [PDF] [代码]
11. LexFit ：“LexFit：预训练语言模型的词法微调”。 ACL(2021) [PDF] [代码]
12. “选择信息丰富的上下文可以改善语言模型的微调”。 ACL(2021) [PDF] [代码]
13. “微调预训练语言模型的超参数优化的实证研究”。 ACL(2021) [PDF] [代码]
14. “预训练的语言模型应该如何针对对抗鲁棒性进行微调？”。 NeurIPS(2021) [PDF] [代码]