PLMPapers

PLM ペーパー

王暁玲氏による寄稿

BERT や GPT などの大規模な事前トレーニング済み言語モデル (PLM) は大きな成功を収め、NLP のマイルストーンとなっています。

このリポジトリでは、最新のトップカンファレンス (ACL、EMNLP、ICLR、ICML、NeurIPS など) で発表された論文と引用数に基づいて、近年のいくつかの代表的な PLM 論文を収集しています。

私たちはリポジトリを常に更新し、プル リクエストや問題を歓迎します。スターとフォークをありがとう!

目次

• 調査
• ベンチマーク
• PLM設計
  • 一般的な
  • 知識
  • 多言語対応
  • マルチモーダル
  • 情報検索
  • コード
  • その他
• PLM分析
  • 知識
  • 堅牢性
  • スパーシティ
  • その他
• 効率的なPLM
  • トレーニング
  • 推論
  • 圧縮
• PLM の適応
  • 2段階
  • マルチタスク
  • アダプター
  • プロンプト
  • その他

調査

1. 「自然言語処理用の事前トレーニング済みモデル: 調査」。 Science China Technological Sciences(2020) [PDF]
2. 「どの *BERT ですか? コンテキスト化されたエンコーダーを構成する調査」。 EMNLP(2020) [PDF]
3. 「BERTology の入門: BERT の仕組みについてわかっていること」。 TACL(2020) [PDF]
4. 「静的な単語表現から動的な単語表現へ: 調査」。 International Journal of Machine Learning and Cybernetics(2020) [PDF]
5. 「NLP タスク用のトランスフォーマーベースのモデルの概要」。 2020 15th Conference on Computer Science and Information Systems (FedCSIS) [PDF]
6. 「コンテキスト埋め込みに関する調査」。 arXiv(2020) [PDF]
7. 「NLP クックブック: トランスフォーマーベースの深層学習アーキテクチャのための最新のレシピ」。 IEEE Access(2021) [PDF]
8. 「事前トレーニング済みモデル: 過去、現在、未来」。 arXiv(2021) [PDF]
9. 「事前訓練、プロンプト、予測: 自然言語処理におけるプロンプト方法の体系的な調査」。 arXiv(2021) [PDF]
10. 「AMMUS : 自然言語処理におけるトランスフォーマーベースの事前訓練済みモデルの調査」。 arXiv(2021) [PDF]
11. 「財団モデルの機会とリスクについて」。 arXiv(2021) [PDF]
12. 「自然言語処理におけるパラダイムシフト」。 arXiv(2021) [PDF]
13. 「大規模な事前トレーニング済み言語モデルによる自然言語処理の最近の進歩: 調査」。 arXiv(2021) [PDF]

ベンチマーク

1. XNLI : 「XNLI: 言語を超えた文表現の評価」。 EMNLP(2018) [PDF] [データセット]
2. GLUE : 「GLUE: 自然言語理解のためのマルチタスク ベンチマークおよび分析プラットフォーム」。 ICLR(2019) [ホームページ]
3. SuperGLUE : 「SuperGLUE: 汎用言語理解システムのためのより粘着性の高いベンチマーク」。 NeurIPS(2019) [ホームページ]
4. CLUE : 「CLUE: 中国語理解評価ベンチマーク」。 COLING(2020) [ホームページ]
5. XTREME : 「XTREME: 言語を超えた一般化を評価するための、大規模な多言語マルチタスク ベンチマーク」。 ICML(2020) [ホームページ]
6. XGLUE : 「XGLUE: 言語を超えた事前トレーニング、理解、生成のための新しいベンチマーク データセット」。 EMNLP(2020) [ホームページ]
7. DialoGLUE : 「DialoGLUE: タスク指向対話のための自然言語理解ベンチマーク」。 arXiv(2020) [ホームページ]

PLM設計

一般的な

1. GPT : 「生成的事前トレーニングによる言語理解の向上」。 OpenAI(2018) [プロジェクト]
2. GPT-2 : 「言語モデルは教師なしのマルチタスク学習者である」。 OpenAI(2019) [プロジェクト]
3. BERT : 「BERT: 言語理解のための深い双方向トランスフォーマーの事前トレーニング」。 NAACL(2019) [PDF] [コード]
4. XLNet : 「XLNet: 言語理解のための一般化された自己回帰事前トレーニング」。 NeurIPS(2019) [PDF] [コード]
5. SBERT : "Sentence-BERT: Siamese BERT-Networks を使用した文の埋め込み"。 ACL(2019) [PDF] [コード]
6. UniLM : 「自然言語の理解と生成のための統一言語モデルの事前トレーニング」。 NeurIPS(2019) [PDF] [コード]
7. MASS : 「MASS: 言語生成のためのマスクされたシーケンスからシーケンスへの事前トレーニング」。 ICML(2019) [PDF] [コード]
8. Chinese-BERT-wwm : 「中国語 BERT の全単語マスキングによる事前トレーニング」。 arXiv(2019) [PDF] [コード]
9. 「Cloze 主導のセルフアテンション ネットワークの事前トレーニング」。 EMNLP(2019) [PDF]
10. 「BERT には口があり、それは話さなければなりません: マルコフランダムフィールド言語モデルとしての BERT」。 Workshop on Methods for Optimizing and Evaluating Neural Language Generation(2019) [PDF] [コード]
11. GPT-3 : 「言語モデルは少数回の学習者である」。 NeurIPS(2020) [PDF] [コード]
12. T5 : 「統合された Text-to-Text Transformer を使用した転移学習の限界の探求」。 JMLR(2020) [PDF] [コード]
13. BART : 「BART: 自然言語の生成、翻訳、理解のためのシーケンス間の事前トレーニングのノイズ除去」。 ACL(2020) [PDF] [コード]
14. ポリエンコーダ:「ポリエンコーダ: 高速かつ正確な複数文スコアリングのためのアーキテクチャと事前トレーニング戦略」。 ICLR(2020) [PDF]
15. SpanBERT : 「SpanBERT: スパンの表現と予測による事前トレーニングの改善」。 TACL(2020) [PDF] [コード]
16. ERNIE 2.0 : 「ERNIE 2.0: 言語理解のための継続的な事前トレーニング フレームワーク」。 AAAI(2020) [PDF] [コード]
17. SemBERT : 「言語理解のためのセマンティクスを意識した BERT」。 AAAI(2020) [PDF] [コード]
18. 「シーケンス生成タスクのための事前トレーニングされたチェックポイントの活用」。 TACL(2020) [PDF] [コード]
19. ProphetNet : 「ProphetNet: シーケンス間事前トレーニングのための将来の N グラムの予測」。 EMNLP(2020) [PDF]
20. UniLMv2 : 「UniLMv2: 統一言語モデルの事前トレーニング用の擬似マスク言語モデル」。 ICML(2020) [PDF] [コード]
21. MacBERT : 「中国語の自然言語処理のための事前トレーニング済みモデルの再考」。 EMNLP(2020) [PDF] [コード]
22. MPNet : 「MPNet: 言語理解のためのマスクと並べ替えの事前トレーニング」。 arXiv(2020) [PDF] [コード]
23. DEBERTA : 「DeBERTa: 解きほぐされた注意を備えたデコード強化された BERT」。 ICLR(2021) [PDF] [コード]
24. PALM : 「PALM: コンテキスト条件付き生成のための自動エンコーディングおよび自己回帰言語モデルの事前トレーニング」。 EMNLP(2020) [PDF]
25. オプティマス: 「オプティマス: 潜在空間の事前トレーニング済みモデリングによる文章の編成」。 EMNLP(2020) [PDF] [コード]
26. 「自己トレーニングにより、自然言語理解のための事前トレーニングが向上します。」 NAACL(2021) [PDF] [コード]
27. CAPT : 「言語の事前トレーニングにおけるノイズ除去自動エンコーディングの再考」。 EMNLP(2021) [PDF]
28. 「マスクされた言語モデリングに代わる、イライラするほど簡単な事前トレーニング」。 EMNLP(2021) [PDF] [コード]
29. 「畳み込みと自己注意: 事前トレーニングされた言語モデルにおける相対位置の再解釈」。 ACL(2021) [PDF] [コード]
30. ERNIE-Doc : 「ERNIE-Doc: 遡及的な長い文書モデリングのトランスフォーマー」。 ACL(2021) [PDF] [コード]
31. 「ユニバーサル言語表現の事前トレーニング」。 ACL(2021) [PDF] [コード]

知識

1. ERNIE (Baidu) : 「ERNIE: 知識の統合による表現の強化」。 arXiv(2019) [PDF] [コード]
2. KnowBert : 「知識を強化した文脈上の単語表現」。 EMNLP(2019) [PDF]
3. ERNIE(清華) : 「ERNIE: 情報エンティティによる言語表現の強化」。 ACL(2019) [PDF] [コード]
4. COMET : 「COMET: 自動ナレッジグラフ構築のための常識トランスフォーマー」。 ACL(2019) [PDF] [コード]
5. K-BERT : 「K-BERT: ナレッジ グラフによる言語表現の有効化」。 AAAI(2020) [PDF] [コード]
6. WKLM : 「事前トレーニング済み百科事典: 弱い教師付き知識 - 事前トレーニング済み言語モデル」。 ICLR(2020) [PDF]
7. ルーク: 「ルーク: エンティティを認識した自己注意を備えた、深いコンテキスト化されたエンティティ表現」。 EMNLP(2020) [PDF] [コード]
8. K-Adapter : 「K-Adapter: アダプターを使用して事前トレーニングされたモデルに知識を注入する」。 ICLR(2021) [PDF]
9. KEPLER : 「KEPLER: 知識の埋め込みと事前トレーニングされた言語表現のための統合モデル」。 TACL(2021) [PDF] [コード]
10. RuleBERT : 「RuleBERT: 事前トレーニングされた言語モデルにソフト ルールを教える」。 EMNLP(2021) [PDF] [コード]
11. BeliefBank : 「文の精査結果を説明するための BERT トークン表現の役割の探索」。 EMNLP(2021) [PDF] [コード]
12. Phrase-BERT : 「Phrase-BERT: コーパス探索へのアプリケーションによる BERT のフレーズ埋め込みの改善」。 EMNLP(2021) [PDF] [コード]
13. 「構文強化された事前トレーニング済みモデル」。 ACL(2021) [PDF] [コード]
14. StructFormer : 「StructFormer: マスクされた言語モデリングからの依存関係と構成要素構造の教師なし共同誘導」。 ACL(2021) [PDF]
15. ERICA : 「ERICA: 対照学習による事前トレーニング済み言語モデルの実体と関係の理解を向上させる」。 ACL(2021) [PDF] [コード]
16. 「Transformer 言語モデルの構造ガイダンス」。 ACL(2021) [PDF] [コード]
17. HORNET : 「HORNET: 異種知識ソースによる事前トレーニング済み言語表現の強化」。 CIKM(2021) [PDF]
18. 「冗長性を削除し、無関係に縮小: 言語の事前トレーニングのための選択的知識の注入」。 IJCAI(2021) [PDF]

多言語対応

1. XLM : 「クロスリンガル言語モデルの事前トレーニング」。 arXiv(2019) [PDF] [コード]
2. 「ゼロショットの言語間転送とそれ以降のための、大規模な多言語文の埋め込み」。 TACL(2019) [PDF] [コード]
3. UDify : 「75 言語、1 モデル: ユニバーサルな依存関係をユニバーサルに解析する」。 EMNLP(2019) [PDF] [コード]
4. Unicoder : 「Unicoder: 複数の言語間タスクによる事前トレーニングによるユニバーサル言語エンコーダー」。 EMNLP(2019) [PDF]
5. XLM-R : 「大規模な教師なし異言語表現学習」。 ACL(2020) [PDF]
6. 「文脈に応じた単語表現の多言語対応」。 ICLR(2020) [PDF]
7. mBART : 「ニューラル機械翻訳のための多言語ノイズ除去事前トレーニング」。 TACL(2020) [PDF] [コード]
8. mT5 : 「mT5: 大規模な多言語の事前トレーニング済みテキストからテキストへのトランスフォーマー」。 NAACL(2021) [PDF] [コード]
9. InfoXLM : 「InfoXLM: 言語を越えた言語モデルの事前トレーニングのための情報理論フレームワーク」。 NAACL(2021) [PDF] [コード]
10. 「多言語言語モデルの事前トレーニングに大きな語彙容量を割り当てる」。 EMNLP(2021) [PDF] [コード]
11. ERNIE-M : 「ERNIE-M: 言語間のセマンティクスを単一言語のコーパスと調整することによる多言語表現の強化」。 EMNLP(2021) [PDF] [コード]
12. 「事前トレーニングされたオートエンコーダーを使用した、言語間の言語変換のための単純な幾何学的手法」。 EMNLP(2021) [PDF]
13. 「不確実性推定による自己学習による言語間伝達の促進」。 EMNLP(2021) [PDF]
14. 「あなたのトークナイザーはどの程度優れていますか? 多言語言語モデルの単一言語パフォーマンスについて」。 ACL(2021) [PDF] [コード]
15. 「ユニバーサル依存関係学習による多言語事前トレーニング」。 NeurIPS(2021) [PDF]

マルチモーダル

1. ViLBERT : 「ViLBERT: 視覚と言語のタスクのためのタスクに依存しない視覚言語表現の事前トレーニング」。 NeuralIPS(2019) [PDF]
2. LXMERT : 「LXMERT: トランスフォーマーからのクロスモダリティ エンコーダー表現の学習」。 EMNLP(2019) [PDF] [コード]
3. VideoBERT : 「VideoBERT: ビデオと言語表現学習のための共同モデル」 ICCV(2019) [PDF]
4. VisualBERT : 「VisualBERT: 視覚と言語のためのシンプルでパフォーマンスの高いベースライン」。 arXiv(2019) [PDF]
5. B2T2 : 「視覚的な質問応答のためのテキスト内の検出されたオブジェクトの融合」。 EMNLP(2019) [PDF] [コード]
6. VL-BERT : 「VL-BERT: 一般的な視覚言語表現の事前トレーニング」。 ICLR(2020) [PDF] [コード]
7. Unicoder-VL : 「Unicoder-VL: クロスモーダル事前トレーニングによる視覚と言語のためのユニバーサル エンコーダー」。 AAAI(2020) [PDF]
8. VLP : 「画像キャプションと VQA のための統合ビジョン言語事前トレーニング」。 AAAI(2020) [PDF] [コード]
9. UNITER : 「UNITER: ユニバーサル画像テキスト表現学習」。 ECCV(2020) [PDF] [コード]
10. オスカー: 「オスカー: 視覚言語タスクのためのオブジェクト セマンティクスに合わせた事前トレーニング」。 ECCV(2020) [PDF] [コード]
11. 「12-in-1: マルチタスクの視覚と言語表現の学習」。 CVPR(2020) [PDF] [コード]
12. ActBERT : 「ActBERT: グローバル-ローカルビデオ-テキスト表現の学習」。 CVPR(2020) [PDF]
13. VLN : 「自己監視型補助推論タスクによる視覚言語ナビゲーション」。 CVPR(2020) [PDF]
14. ヴィラ：「視覚と言語の表現学習のための大規模な敵対的トレーニング」。 arXiv(2020) [PDF] [コード]
15. ImageBERT : 「ImageBERT: 大規模な弱い教師付き画像テキスト データを使用したクロスモーダル事前トレーニング」。 arXiv(2020) [PDF]
16. ALIGN : 「ノイズの多いテキスト監視による視覚および視覚言語表現学習のスケールアップ」。 ICML(2021) [PDF]
17. ClipBERT : 「少ないほど良い: スパース サンプリングによるビデオと言語の学習のための ClipBERT」。 CVPR(2021) [PDF] [コード]
18. DALL・E : 「ゼロショットのテキストから画像への生成」。 arXiv(2021) [PDF] [コード]
19. クリップ:「自然言語監視から伝達可能な視覚モデルを学習する」。 arXiv(2021) [PDF] [コード]
20. IPT : 「事前トレーニングされた画像処理トランスフォーマー」。 CVPR(2021) [PDF] [コード]
21. CvT : 「CvT: ビジョン トランスフォーマーへの畳み込みの導入」。 ICCV(2021) [PDF] [コード]
22. 「ノイズの多いテキスト監視による視覚および視覚言語表現学習のスケールアップ」。 ICML(2021) [PDF]
23. TERA : 「TERA: 音声のためのトランスエンコーダ表現の自己教師あり学習」。 TASLP(2021) [PDF] [コード]
24. CaiT : 「Image Transformers でさらに深くなる」。 ICCV(2021) [PDF] [コード]
25. ViViT : 「ViViT: ビデオ ビジョン トランスフォーマー」。 ICCV(2021) [PDF] [コード]
26. VirTex : 「VirTex: テキストの注釈から視覚表現を学習する」。 CVPR(2021) [PDF] [コード]
27. M6 : 「M6: 統合事前トレーニングのためのマルチモダリティからマルチモダリティへのマルチタスク メガトランスフォーマー」。 KDD(2021) [PDF]
28. 「インターモダリティの探求: 視覚と言語の事前トレーニングのための自己注意による視覚解析」。 NeurIPS(2021) [PDF]
29. ギルバート：「ギルバート：モダリティが不完全な視覚言語タスクのための生成的視覚言語事前トレーニング」。 SIGIR(2021) [PDF]

情報検索

1. ORQA : 「弱く監視されたオープンドメイン質問応答のための潜在検索」。 ACL(2019) [PDF]
2. REALM : 「REALM: 検索拡張言語モデルの事前トレーニング」。 arXiv(2020) [PDF]
3. RAG : 「知識集約型 NLP タスクのための検索拡張生成」。 NeurIPS(2020) [PDF] [コード]
4. DPR : 「オープンドメインの質問応答のための密なパッセージ検索」。 EMNLP(2020) [PDF] [コード]
5. 「オープンドメイン質問応答のための生成モデルによるパッセージ検索の活用」。 EACL(2021) [PDF] [コード]

コード

1. CodeT5 : 「CodeT5: コードの理解と生成のための、識別子を意識した統合された事前トレーニング済みエンコーダー/デコーダー モデル」。 EMNLP(2021) [PDF] [コード]
2. Codex : 「コード上でトレーニングされた大規模言語モデルの評価」。 arXiv(2021) [PDF] [コード]

その他

1. ReasonBERT : 「ReasonBERT: 遠隔監視による推論の事前訓練済み」。 EMNLP(2021) [PDF] [コード]
2. 「Transformer 言語モデルからの文のボトルネック オートエンコーダー」。 EMNLP(2021) [PDF] [コード]
3. 「計算能力は言語モデルのリテラシーを向上させる」。 EMNLP(2021) [PDF] [コード]
4. EnsLM : 「EnsLM: セマンティック クラスタリングによるデータ多様性のためのアンサンブル言語モデル」。 ACL(2021) [PDF] [コード]
5. 「リフレクティブ デコーディング: 既製の言語モデルによる一方向生成を超えて」。 ACL(2021) [PDF] [コード]
6. BERTAC : 「BERTAC: 敵対的に事前訓練された畳み込みニューラル ネットワークによるトランスフォーマーベースの言語モデルの強化」。 ACL(2021) [PDF] [コード]
7. 「プライバシー保護 BERT による自然言語理解」。 CIKM(2021) [PDF]
8. BANG : 「BANG: 大規模な事前トレーニングによる自己回帰生成と非自己回帰生成の橋渡し」。 ICML(2021) [PDF] [コード]

PLM分析

知識

1. 「BERT は何を見ていますか? BERT の注意の分析」。 BlackBoxNLP(2019) [PDF] [コード]
2. 「BERT は古典的な NLP パイプラインを再発見します」。 ACL(2019) [PDF]
3. 「多言語 BERT はどの程度多言語ですか?」 ACL(2019) [PDF]
4. 「単語表現の構文を見つけるための構造プローブ」。 NAACL(2019) [PDF] [コード]
5. 「知識ベースとしての言語モデル?」。 EMNLP(2019) [PDF] [コード]
6. 「BERT は言語の構造について何を学習しますか?」 ACL(2019) [PDF] [コード]
7. 「言語知識と文脈表現の伝達可能性」。 NAACL(2019) [PDF]
8. 「BERT の構文能力の評価」。 arXiv(2019) [PDF] [コード]
9. 「自然言語引数のニューラルネットワーク理解の探索」 ACL(2019) [PDF]
10. 「コンテキスト化された単語表現はどの程度コンテキスト的ですか? BERT、ELMo、および GPT-2 埋め込みのジオメトリの比較」。 EMNLP(2019) [PDF]
11. 「BERT の形状の視覚化と測定」。 NeurIPS(2019) [PDF]
12. 「制御タスクを使用したプローブの設計と解釈」。 EMNLP(2019) [PDF]
13. 「オープンセサミ: BERT の言語知識の内部に入る」。 BlackboxNLP(2019) [PDF] [コード]
14. 「文脈から何を学ぶか?文脈化された単語表現における文構造の探索」。 ICLR(2019) [PDF] [コード]
15. 「事前学習済みモデルからの常識知識マイニング」。 EMNLP(2019) [PDF]
16. 「NLP モデルは数値を知っていますか? 埋め込みにおける数値計算の調査」。 EMNLP(2019) [PDF]
17. 「単一言語表現の言語を越えた移転可能性について」。 ACL(2020) [PDF]
18. 「多言語BERTの言語横断能力：実証研究」。 ICLR(2020) [PDF] [コード]
19. 「BERT ではないもの: 言語モデルのための新しい心理言語診断スイートからの教訓」。 TACL(2020) [PDF] [コード]
20. 「言語モデルのパラメータにどれだけの知識を詰め込むことができますか?」 EMNLP(2020) [PDF] [コード]
21. 「言語モデルが何を知っているかをどのようにして知ることができますか?」 TACL(2020) [PDF] [コード]
22. 「oLMpics-事前トレーニングがキャプチャする言語モデルについて」。 TACL(2020) [PDF] [コード]
23. 「最小限の記述長による情報理論的探求」。 EMNLP(2020) [PDF] [コード]
24. 「BERT からのリレーショナル知識の誘導」。 AAAI(2020) [PDF]
25. AutoPrompt : 「AutoPrompt: 自動的に生成されたプロンプトを使用して言語モデルから知識を引き出す」。 EMNLP(2020) [PDF] [コード]
26. 「自己監視によって訓練された人工ニューラルネットワークにおける創発言語構造」。 PNAS(2020) [PDF]
27. 「事前トレーニングされた言語モデルにおける常識の評価」。 AAAI(2020) [PDF] [コード]
28. 「BERT からのリレーショナル知識の誘導」。 AAAI(2020) [PDF]
29. 「言語モデルにおける事実知識の編集」。 EMNLP(2021) [PDF] [コード]
30. 「言語モデルが構文を学習するにはどれくらいの事前トレーニング データが必要ですか?」 EMNLP(2021) [PDF]
31. 「継母は意地悪で学者は見栄っ張りです。事前訓練された言語モデルはあなたについて何を学びますか?」 EMNLP(2021) [PDF] [コード]
32. 「BERT の口に言葉を入れる: 擬似ワードを使用してコンテキスト化されたベクトル空間をナビゲートする」。 EMNLP(2021) [PDF] [コード]
33. 「トランスフォーマーにおける構文ルール学習に対する頻度の影響」。 EMNLP(2021) [PDF] [コード]
34. 「文の精査結果を説明するための BERT トークン表現の役割の探求」。 EMNLP(2021) [PDF] [コード]
35. 「BERT はどのように驚いていますか? 言語異常の層ごとの検出」。 ACL(2021) [PDF] [コード]
36. 「神経言語モデルにおける意味の暗黙的表現」。 ACL(2021) [PDF] [コード]
37. 「知識のある推測ですか、知識のある推測ですか? 知識ベースとしての言語モデルの再考」。 ACL(2021) [PDF] [コード]

堅牢性

1. 「NLP の攻撃と分析のための普遍的な敵対的トリガー」。 EMNLP(2019) [PDF] [コード]
2. 「事前トレーニングされたトランスフォーマーにより、配布外の堅牢性が向上します。」 ACL(2020) [PDF] [コード]
3. BERT-ATTACK : 「BERT-ATTACK: BERT を使用した BERT に対する敵対的攻撃」。 EMNLP(2020) [PDF] [コード]
4. 「BERT は本当に堅牢ですか? テキストの分類と含意に対する自然言語攻撃の強力なベースライン」。 AAAI(2020) [PDF] [コード]
5. 「悪魔は細部に宿る: シンプルなトリックでトランスフォーマーの体系的な一般化が改善される」。 EMNLP(2021) [PDF] [コード]
6. 「ノイズの選別: 事前トレーニングされた言語モデルでの情報処理の堅牢性のテスト」。 EMNLP(2021) [PDF] [コード]

スパーシティ

1. 「本当に十六頭の方が一人より優れているのか？」 NeurIPS(2019) [PDF] [コード]
2. 「複数のヘッドの自己注意を分析する: 特殊なヘッドが重労働を行い、残りの部分は刈り込むことができます。」 ACL(2019) [PDF] [コード]
3. 「BERTの暗い秘密を明らかにする」。 EMNLP(2019) [PDF]
4. 「事前トレーニング済み BERT ネットワークの宝くじ仮説」。 NeurIPS(2020) [PDF] [コード]
5. 「BERT が宝くじをプレイすると、すべてのチケットが当たります。」 EMNLP(2020) [PDF] [コード]

その他

1. 「神経言語モデルのスケーリング則」。 arXiv(2020) [PDF]
2. 「大規模な言語モデルからのトレーニング データの抽出」。 arXiv(2020) [PDF] [コード]
3. 「確率的オウムの危険性について: 言語モデルは大きすぎる可能性がありますか? ?」。 FACCT(2021) [PDF]
4. 「大規模な言語モデルからのトレーニング データの抽出」。 USENIX(2021) [PDF] [コード]
5. 「マスクされた言語モデリングと分布仮説: 小さな人のための事前トレーニングで単語の順序が重要」。 EMNLP(2021) [PDF] [コード]
6. 「変圧器トレーニング中のパラメータノルムの増加の影響: 勾配降下法による誘導バイアス」。 EMNLP(2021) [PDF] [コード]
7. 「言語モデルを説明するための離散化統合勾配」。 EMNLP(2021) [PDF] [コード]
8. 「長距離言語モデルは実際に長距離コンテキストを使用しますか?」 EMNLP(2021) [PDF]
9. 「曲面形式の競争: 最も確率の高い答えが常に正しいとは限らない理由」。 EMNLP(2021) [PDF] [コード]
10. 「マスクされた言語モデルの分析への残差層と正規化層の組み込み」。 EMNLP(2021) [PDF] [コード]
11. 「シーケンスの長さは領域です: 変圧器モデルにおける長さに基づくオーバーフィッティング」。 EMNLP(2021) [PDF]
12. 「事前訓練された畳み込みは事前訓練された変換器よりも優れていますか?」 ACL(2021) [PDF]
13. 「位置アーチファクトはマスクされた言語モデルの埋め込みを介して伝播する」。 ACL(2021) [PDF]
14. 「何十億ワードもの事前トレーニング データが必要になるのはいつですか?」 ACL(2021) [PDF] [コード]
15. 「NLP にとっての BERT は、AlexNet にとっての CV と同じです: 事前トレーニングされた言語モデルは類似性を識別できますか?」 ACL(2021) [PDF] [コード]
16. 「人工言語を使用した神経言語モデルの帰納バイアスの調査」。 ACL(2021) [PDF] [コード]
17. 「なぜ事前トレーニング済み言語モデルが下流タスクに役立つのか? ヘッド チューニングとプロンプト チューニングの分析」。 NeurIPS(2021) [PDF]

効率的なPLM

トレーニング

1. RoBERTa : 「RoBERTa: 堅牢に最適化された BERT 事前トレーニング アプローチ」。 arXiv(2019) [PDF] [コード]
2. 「段階的なスタッキングによる BERT の効率的なトレーニング」。 ICML(2019) [PDF] [コード]
3. Megatron-LM : 「Megatron-LM: モデル並列処理を使用した数十億のパラメーター言語モデルのトレーニング」。 arXiv(2019) [PDF] [コード]
4. ELECTRA : 「ELECTRA: テキスト エンコーダーをジェネレーターではなくディスクリミネーターとして事前トレーニングする」。 ICLR(2020) [PDF] [コード]
5. 「深層学習のための大規模バッチ最適化: 76 分で BERT をトレーニング」。 ICLR(2020) [PDF] [コード]
6. GShard : 「GShard: 条件付き計算と自動シャーディングによる巨大モデルのスケーリング」。 arXiv(2020) [PDF]
7. 管理人：「トランスフォーマーの訓練の難しさを理解する」。 EMNLP(2020) [PDF] [コード]
8. ZeRO : 「ZeRO: 兆パラメータ モデルのトレーニングに向けたメモリの最適化」。 SC20: International Conference for High Performance Computing, Networking, Storage and Analysis [PDF] [コード]
9. スイッチ トランスフォーマー: 「スイッチ トランスフォーマー: シンプルで効率的なスパース性を備えた 1 兆個のパラメーター モデルへのスケーリング」。 arXiv(2021) [PDF] [コード]
10. 「学術予算を使って BERT を訓練する方法」。 EMNLP(2021) [PDF]
11. 「小さなデータセットでのより深いトランスフォーマーの最適化」。 ACL(2021) [PDF] [コード]
12. 「EarlyBERT: 早期抽選チケットによる効率的な BERT トレーニング」。 ACL(2021) [PDF] [コード]

推論

1. 「BERT が忍耐力を失う: 早期終了による高速かつ堅牢な推論」。 NeurIPS(2020) [PDF] [コード]
2. GAML-BERT : 「GAML-BERT: 勾配整合相互学習による BERT 早期終了の改善」。 EMNLP(2021) [PDF]
3. 「効率的な最近傍言語モデル」。 EMNLP(2021) [PDF] [コード]
4. GhostBERT : 「GhostBERT: BERT の安価な操作でより多くの機能を生成」。 ACL(2021) [PDF] [コード]
5. LeeBERT : "LeeBERT: クロスレベル最適化による BERT の早期終了を学習しました。" ACL(2021) [PDF]
6. 「長さ適応型トランスフォーマー: 長さの低下で 1 回トレーニングし、検索でいつでも使用できます。」 ACL(2021) [PDF] [コード]
7. 「効率的な垂直検索のための BERT からの知識をシンプルな完全に接続されたニューラル ネットワークに抽出する」。 CIKM(2021) [PDF]

圧縮

1. DistilBERT : 「DistilBERT、BERT の蒸留バージョン: より小さく、より速く、より安く、そしてより軽く」。 arXiv(2019) [PDF] [コード]
2. PKD : 「BERT モデル圧縮のための患者知識の蒸留」。 EMNLP(2019) [PDF] [コード]
3. 「タスク固有の知識を BERT から単純なニューラル ネットワークに抽出する」。 arXiv(2019) [PDF]
4. Q8BERT : 「Q8BERT: 量子化された 8 ビット BERT」。 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing - NeurIPS 2019 [PDF]
5. アルバート: 「アルバート: 言語表現の自己教師あり学習のためのライト BERT」。 ICLR(2020) [PDF] [コード]
6. TinyBERT : "TinyBERT: 自然言語理解のための BERT の抽出"。 EMNLP(2020) [PDF] [コード]
7. Layerdrop : 「構造化ドロップアウトを使用してオンデマンドでトランスの深さを減らす」。 ICLR(2020) [PDF] [コード]
8. Q-BERT : 「Q-BERT: ヘシアンベースの BERT の超低精度量子化」。 AAAI(2020) [PDF]
9. MobileBERT : 「MobileBERT: リソースが限られたデバイス向けのコンパクトなタスク非依存型 BERT」。 ACL(2020) [PDF] [コード]
10. 「BERT の圧縮: 転移学習に対する重み枝刈りの効果の研究」。 5th Workshop on Representation Learning for NLP(2020) [PDF] [コード]
11. MiniLM : 「MiniLM: 事前トレーニング済みトランスフォーマーのタスク非依存圧縮のための深い自己注意蒸留」。 arXiv(2020) [PDF] [コード]
12. FastBERT : 「FastBERT: 適応推論時間を持つ自己蒸留型 BERT」。 ACL(2020) [PDF] [コード]
13. DeeBERT : 「DeeBERT: BERT 推論を加速するための動的早期終了」。 ACL(2020) [PDF] [コード]
14. 「大規模な変圧器ベースのモデルの圧縮: BERT のケーススタディ」。 TACL(2021) [PDF]
15. 「継続的なスパース化で宝くじに当たる」。 NeurIPS(2020) [PDF] [コード]
16. SqueezeBERT : 「SqueezeBERT: コンピュータ ビジョンは効率的なニューラル ネットワークについて NLP に何を教えられるでしょうか?」 SustaiNLP(2020) [PDF]
17. オーディオ アルバート: 「オーディオ アルバート: オーディオ表現の自己教師あり学習のためのライト バート」。 SLT(2021) [PDF] [コード]
18. T2R : 「事前トレーニング済みトランスフォーマーを RNN に微調整する」。 EMNLP(2021) [PDF] [コード]
19. 「保存された精度を超えて: BERT 圧縮の忠実性と堅牢性の評価」。 EMNLP(2021) [PDF] [コード]
20. Meta-KD : 「Meta-KD: ドメイン間の言語モデル圧縮のためのメタ知識蒸留フレームワーク」。 ACL(2021) [PDF] [コード]
21. 「事前トレーニング済み言語モデルのスーパーチケット: モデルの圧縮から一般化の改善まで」。 ACL(2021) [PDF] [コード]
22. BinaryBERT : 「BinaryBERT: BERT 量子化の限界を押し上げる」。 ACL(2021) [PDF] [コード]
23. AutoTinyBERT : 「AutoTinyBERT: 効率的な事前トレーニング済み言語モデルのための自動ハイパーパラメーター最適化」。 ACL(2021) [PDF] [コード]
24. 「限界効用の減少: BERT 知識の蒸留のための最小限の知識の探索」。 ACL(2021) [PDF] [コード]
25. 「行列積演算子に基づいた事前トレーニング済み言語モデル圧縮の軽量微調整の有効化」。 ACL(2021) [PDF] [コード]
26. NAS-BERT : 「NAS-BERT: ニューラル アーキテクチャ検索を使用したタスク非依存および適応サイズの BERT 圧縮」。 KDD(2021) [PDF]

PLM の適応

2段階

1. 「STILT 上の文エンコーダ: 中間ラベル付きデータ タスクに関する補足トレーニング」。 arXiv(2018) [PDF] [コード]
2. 「テキスト分類のために BERT を微調整する方法?」。 CCL(2019) [PDF]
3. 「事前トレーニングをやめないでください: 言語モデルをドメインとタスクに適応させる」。 ACL(2020) [PDF] [コード]
4. 「事前トレーニング済み言語モデルを使用した中間タスク転移学習: いつ、そしてなぜ機能するのか?」。 ACL(2020) [PDF]
5. 「何を事前トレーニングするか?効率的な中間タスクの選択」。 EMNLP(2021) [PDF] [コード]
6. 「中間事前トレーニングにおけるマスキング ポリシーの影響について」。 EMNLP(2021) [PDF]
7. TADPOLE : "TADPOLE: AnOmaLy DEtection によるタスク適応型事前トレーニング"。 EMNLP(2021) [PDF]

マルチタスク

1. MT-DNN : 「自然言語理解のためのマルチタスク ディープ ニューラル ネットワーク」。 ACL(2019) [PDF] [コード]
2. 「BAM! 自然言語理解のための生まれ変わったマルチタスク ネットワーク」。 ACL(2019) [PDF] [コード]
3. 「自然言語理解のための知識蒸留によるマルチタスクディープニューラルネットワークの改善」。 arXiv(2019) [PDF] [コード]
4. GradTS : 「GradTS: 変圧器ネットワークに基づく勾配ベースの自動補助タスク選択方法」。 EMNLP(2021) [PDF]
5. 「あなたの頭の中は何ですか? マルチタスクのトランスフォーマー モデルにおける創発的な動作」。 EMNLP(2021) [PDF]
6. MTAdam : 「MTAdam: 複数のトレーニング損失期間の自動バランス」。 EMNLP(2021) [PDF]
7. マペット: 「マペット: 事前微調整による大規模なマルチタスク表現」。 EMNLP(2021) [PDF]
8. 「幹細胞仮説: トランスフォーマーエンコーダーを使用したマルチタスク学習の背後にあるジレンマ」。 EMNLP(2021) [PDF] [コード]
9. BERTGen : 「BERTGen: BERT によるマルチタスク生成」。 ACL(2021) [PDF] [コード]
10. 「共有ハイパーネットワークを介した変圧器のパラメータ効率の高いマルチタスク微調整」。 ACL(2021) [PDF] [コード]

アダプター

1. 「BERT と PAL: マルチタスク学習における効率的な適応のための投影された注意層」。 ICML(2019) [PDF] [コード]
2. アダプター:「NLP のためのパラメーター効率的な転移学習」。 ICML(2019) [PDF] [コード]
3. AdapterDrop : 「AdapterDrop: 変圧器のアダプターの効率について」。 EMNLP(2021) [PDF]
4. 「事前トレーニング済み言語モデル適応のためのアダプターベースのチューニングの有効性について」。 ACL(2021) [PDF]
5. 「タスクの説明からタスク固有のアダプターを生成する方法を学習する」。 ACL(2021) [PDF] [コード]

プロンプト

1. PET : 「少数ショットのテキスト分類と自然言語推論のための Cloze 質問の活用」。 EACL(2021) [PDF] [コード]
2. 「重要なのはサイズだけではありません。小さな言語モデルも少数ショット学習者です。」 NAACL(2021) [PDF] [コード]
3. 「プレフィックス チューニング: 生成のための連続プロンプトの最適化」。 arXiv(2021) [PDF]
4. LM-BFF : 「事前トレーニングされた言語モデルをより良い少数ショット学習者にする」。 ACL(2021) [PDF] [コード]
5. 「GPT-3 の適切なインコンテキスト例とは何ですか?」 arXiv(2021) [PDF] [コード]
6. 「パラメーター効率の高い即時チューニングのためのスケールの力」。 EMNLP(2021) [PDF] [コード]
7. 「細かく調整された言語モデルはゼロショット学習者です」。 arXiv(2021) [PDF]
8. 「使用前に調整する: 言語モデルの少数ショットのパフォーマンスを改善する」。 ICML(2021) [PDF] [コード]
9. TransPrompt : 「TransPrompt: 少数ショット テキスト分類のための自動転送可能なプロンプト フレームワークに向けて」。 EMNLP(2021) [PDF] [コード]
10. SFLM : 「言語モデルの少数ショット学習のための自己トレーニングの再考」。 EMNLP(2021) [PDF] [コード]
11. ADAPET : 「パターン活用トレーニングの改善と簡素化」。 EMNLP(2021) [PDF] [コード]

その他

1. 「調整するべきか、調整しないべきか? 事前トレーニングされた表現を多様なタスクに適応させる」。 RepL4NLP(2019) [PDF]
2. 「事前訓練された言語モデルから転移学習を行うための、恥ずかしいほど簡単なアプローチ」。 NAACL(2019) [PDF] [コード]
3. 「事前トレーニング済み言語モデルの微調整: 重みの初期化、データの順序、および早期停止」。 arXiv(2020) [PDF]
4. SMART : 「SMART: 原則に基づいた正規化最適化による、事前トレーニングされた自然言語モデルの堅牢かつ効率的な微調整」。 EMNLP(2020) [PDF] [コード]
5. 「少数サンプル BERT 微調整の再検討」。 ICLR(2021) [PDF]
6. Mirror-BERT : 「高速、効果的、自己監視型: マスクされた言語モデルを汎用語彙および文エンコーダーに変換する」。 EMNLP(2021) [PDF] [コード]
7. 「事前トレーニングかアノテーションか? 限られた予算でのドメイン適応」。 EMNLP(2021) [PDF] [コード]
8. AVocaDo : 「AVocaDo: 語彙を下流ドメインに適応させるための戦略」。 EMNLP(2021) [PDF]
9. CHILD-TUNING : 「大規模言語モデルで子供を育てる: 効果的で一般化可能な微調整に向けて」。 EMNLP(2021) [PDF] [コード]
10. 「低リソースのドメイン適応のための N グラム表現による事前トレーニング済み言語モデルの飼いならし」。 ACL(2021) [PDF] [コード]
11. LexFit : 「LexFit: 事前トレーニング済み言語モデルの語彙微調整」。 ACL(2021) [PDF] [コード]
12. 「有益なコンテキストを選択すると、言語モデルの微調整が向上します」。 ACL(2021) [PDF] [コード]
13. 「事前トレーニング済み言語モデルを微調整するためのハイパーパラメータ最適化に関する実証的研究」。 ACL(2021) [PDF] [コード]
14. 「事前トレーニングされた言語モデルは、敵対的な堅牢性を目指してどのように微調整されるべきですか?」 NeurIPS(2021) [PDF] [コード]