PLMPapers

makalah PLM

Disumbangkan oleh Xiaolei Wang

Model bahasa terlatih (PLM) berskala besar seperti BERT dan GPT telah mencapai kesuksesan besar dan menjadi tonggak sejarah dalam NLP.

Dalam repo ini, kami mengumpulkan beberapa makalah PLM yang representatif dalam beberapa tahun terakhir berdasarkan jumlah kutipan dan makalah yang diterbitkan di konferensi terkemuka terkini (misalnya, ACL, EMNLP, ICLR, ICML, NeurIPS).

Kami akan terus memperbarui repo dan menyambut permintaan dan masalah penarikan! Terima kasih atas bintang dan garpu Anda!

Daftar isi

• Survei
• Tolok ukur
• Desain PLM
  • Umum
  • Pengetahuan
  • Multibahasa
  • Multi-Modal
  • Pengambilan Informasi
  • Kode
  • Yang lain
• Analisis PLM
  • Pengetahuan
  • Kekokohan
  • ketersebaran
  • Yang lain
• PLM yang efisien
  • Pelatihan
  • Kesimpulan
  • Kompresi
• Adaptasi PLM
  • Dua Tahap
  • Multi-Tugas
  • Adaptor
  • Mengingatkan
  • Yang lain

Survei

1. "Model terlatih untuk pemrosesan bahasa alami: Sebuah survei". Science China Technological Sciences(2020) [PDF]
2. "*BERT yang mana? Survei yang Mengorganisasikan Pembuat Enkode Kontekstual". EMNLP(2020) [PDF]
3. "Pedoman BERTology: Apa yang Kami Ketahui Tentang Cara Kerja BERT". TACL(2020) [PDF]
4. "Dari representasi kata statis ke dinamis: survei". International Journal of Machine Learning and Cybernetics(2020) [PDF]
5. "Ikhtisar Model Berbasis Transformer untuk Tugas NLP". 2020 15th Conference on Computer Science and Information Systems (FedCSIS) [PDF]
6. "Survei tentang Penyematan Kontekstual". arXiv(2020) [PDF]
7. "Buku Masak NLP: Resep Modern untuk Arsitektur Pembelajaran Mendalam Berbasis Transformer". IEEE Access(2021) [PDF]
8. "Model Terlatih: Dulu, Sekarang, dan Masa Depan". arXiv(2021) [PDF]
9. "Pra-latihan, Prompt, dan Prediksi: Survei Sistematis tentang Metode Prompting dalam Pemrosesan Bahasa Alami". arXiv(2021) [PDF]
10. "AMMUS: Survei Model Terlatih Berbasis Transformer dalam Pemrosesan Bahasa Alami". arXiv(2021) [PDF]
11. "Tentang Peluang dan Risiko Model Fondasi". arXiv(2021) [PDF]
12. "Pergeseran Paradigma dalam Pemrosesan Bahasa Alami". arXiv(2021) [PDF]
13. "Kemajuan Terkini dalam Pemrosesan Bahasa Alami melalui Model Bahasa Besar yang Telah Dilatih Sebelumnya: Sebuah Survei". arXiv(2021) [PDF]

Tolok ukur

1. XNLI : "XNLI: Mengevaluasi Representasi Kalimat Lintas Bahasa". EMNLP(2018) [PDF] [Kumpulan Data]
2. GLUE : "GLUE: Platform Analisis dan Tolok Ukur Multi-Tugas untuk Pemahaman Bahasa Alami". ICLR(2019) [Beranda]
3. SuperGLUE : "SuperGLUE: Tolok Ukur yang Lebih Lengket untuk Sistem Pemahaman Bahasa Tujuan Umum". NeurIPS(2019) [Beranda]
4. CLUE : "CLUE: Tolok Ukur Evaluasi Pemahaman Bahasa Mandarin". COLING(2020) [Beranda]
5. XTREME : "XTREME: Tolok Ukur Multitugas Multibahasa Secara Besar-besaran untuk Mengevaluasi Generalisasi Lintas Bahasa". ICML(2020) [Beranda]
6. XGLUE : "XGLUE: Kumpulan Data Tolok Ukur Baru untuk Pra-pelatihan, Pemahaman, dan Pembuatan Lintas Bahasa". EMNLP(2020) [Beranda]
7. DialoGLUE : "DialoGLUE: Tolok Ukur Pemahaman Bahasa Alami untuk Dialog Berorientasi Tugas". arXiv(2020) [Beranda]

Desain PLM

Umum

1. GPT : "Meningkatkan Pemahaman Bahasa dengan Pra-Pelatihan Generatif". OpenAI(2018) [Proyek]
2. GPT-2 : "Model Bahasa adalah Pembelajar Multitask Tanpa Pengawasan". OpenAI(2019) [Proyek]
3. BERT : "BERT: Pra-pelatihan Transformator Dua Arah Dalam untuk Pemahaman Bahasa". NAACL(2019) [PDF] [Kode]
4. XLNet : "XLNet: Pra-Pelatihan Autoregresif Umum untuk Pemahaman Bahasa". NeurIPS(2019) [PDF] [Kode]
5. SBERT : "Sentence-BERT: Penyematan Kalimat menggunakan Jaringan BERT Siam". ACL(2019) [PDF] [Kode]
6. UniLM : "Pra-pelatihan Model Bahasa Terpadu untuk Pemahaman dan Pembuatan Bahasa Alami". NeurIPS(2019) [PDF] [Kode]
7. MASS : "MASS: Urutan Bertopeng ke Urutan Pra-pelatihan untuk Generasi Bahasa". ICML(2019) [PDF] [Kode]
8. Chinese-BERT-wwm : "Pra-Pelatihan dengan Penyembunyian Kata Utuh untuk BERT Cina". arXiv(2019) [PDF] [Kode]
9. "Pelatihan Awal Jaringan Perhatian Diri yang Didorong oleh Cloze". EMNLP(2019) [PDF]
10. "BERT Punya Mulut, dan Harus Berbicara: BERT sebagai Model Bahasa Bidang Acak Markov". Workshop on Methods for Optimizing and Evaluating Neural Language Generation(2019) [PDF] [Kode]
11. GPT-3 : "Model Bahasa adalah Pembelajar yang Sedikit Pembelajar". NeurIPS(2020) [PDF] [Kode]
12. T5 : “Menjelajahi Batasan Pembelajaran Transfer dengan Unified Text-to-Text Transformer”. JMLR(2020) [PDF] [Kode]
13. BART : "BART: Pra-pelatihan Denoising Sequence-to-Sequence untuk Pembuatan, Terjemahan, dan Pemahaman Bahasa Alami". ACL(2020) [PDF] [Kode]
14. Poly-encoder : "Poly-encoder: Arsitektur dan Strategi Pra-pelatihan untuk Penilaian Multi-kalimat yang Cepat dan Akurat". ICLR(2020) [PDF]
15. SpanBERT : "SpanBERT: Meningkatkan Pra-pelatihan dengan Mewakili dan Memprediksi Rentang". TACL(2020) [PDF] [Kode]
16. ERNIE 2.0 : "ERNIE 2.0: Kerangka Pra-Pelatihan Berkelanjutan untuk Pemahaman Bahasa". AAAI(2020) [PDF] [Kode]
17. SemBERT : "BERT Sadar Semantik untuk Pemahaman Bahasa". AAAI(2020) [PDF] [Kode]
18. "Memanfaatkan Pos Pemeriksaan Terlatih untuk Tugas Pembuatan Urutan". TACL(2020) [PDF] [Kode]
19. ProphetNet : "ProphetNet: Memprediksi N-gram Masa Depan untuk Pra-pelatihan Urutan-ke-Urutan". EMNLP(2020) [PDF]
20. UniLMv2 : "UniLMv2: Model Bahasa Pseudo-Masked untuk Pra-Pelatihan Model Bahasa Terpadu". ICML(2020) [PDF] [Kode]
21. MacBERT : "Meninjau Kembali Model Pra-Terlatih untuk Pemrosesan Bahasa Alami Tiongkok". EMNLP(2020) [PDF] [Kode]
22. MPNet : "MPNet: Pra-pelatihan Bertopeng dan Diijinkan untuk Pemahaman Bahasa". arXiv(2020) [PDF] [Kode]
23. DEBERTA : "DeBERTa: BERT yang disempurnakan dengan decoding dengan Perhatian Terurai". ICLR(2021) [PDF] [Kode]
24. PALM : "PALM: Pra-pelatihan Model Bahasa Autoencoding & Autoregresif untuk Generasi Berkondisi Konteks". EMNLP(2020) [PDF]
25. Optimus : "Optimus: Menyusun Kalimat melalui Pemodelan Ruang Laten yang Telah Dilatih". EMNLP(2020) [PDF] [Kode]
26. "Pelatihan mandiri Meningkatkan Pra-pelatihan untuk Pemahaman Bahasa Alami". NAACL(2021) [PDF] [Kode]
27. CAPT : "Memikirkan Kembali Pengkodean Otomatis yang Ditolak dalam Pra-Pelatihan Bahasa". EMNLP(2021) [PDF]
28. "Alternatif Pra-Pelatihan yang Sangat Sederhana untuk Pemodelan Bahasa Terselubung". EMNLP(2021) [PDF] [Kode]
29. "Konvolusi dan Perhatian Diri: Menafsirkan Ulang Posisi Relatif dalam Model Bahasa yang Telah Dilatih". ACL(2021) [PDF] [Kode]
30. ERNIE-Doc : "ERNIE-Doc: Transformator Pemodelan Dokumen Panjang Retrospektif". ACL(2021) [PDF] [Kode]
31. "Representasi Bahasa Universal Pra-pelatihan". ACL(2021) [PDF] [Kode]

Pengetahuan

1. ERNIE(Baidu) : "ERNIE: Peningkatan Representasi melalui Integrasi Pengetahuan". arXiv(2019) [PDF] [Kode]
2. KnowBert : "Representasi Kata Kontekstual yang Ditingkatkan Pengetahuan". EMNLP(2019) [PDF]
3. ERNIE(Tsinghua) : "ERNIE: Peningkatan Representasi Bahasa dengan Entitas Informatif". ACL(2019) [PDF] [Kode]
4. COMET : "COMET: Transformator Akal Sehat untuk Konstruksi Grafik Pengetahuan Otomatis". ACL(2019) [PDF] [Kode]
5. K-BERT : "K-BERT: Mengaktifkan Representasi Bahasa dengan Grafik Pengetahuan". AAAI(2020) [PDF] [Kode]
6. WKLM : "Ensiklopedia Terlatih: Model Bahasa yang Dilatih Pengetahuan dengan Pengawasan Lemah". ICLR(2020) [PDF]
7. LUKE : "LUKE: Representasi Entitas yang Dikontekstualisasikan dengan Perhatian Diri yang Sadar Entitas". EMNLP(2020) [PDF] [Kode]
8. K-Adapter : "K-Adapter: Menanamkan Pengetahuan ke dalam Model Terlatih dengan Adaptor". ICLR(2021) [PDF]
9. KEPLER : "KEPLER: Model Terpadu untuk Penanaman Pengetahuan dan Representasi Bahasa Terlatih". TACL(2021) [PDF] [Kode]
10. RuleBERT : "RuleBERT: Mengajarkan Aturan Lembut kepada Model Bahasa yang Sudah Terlatih". EMNLP(2021) [PDF] [Kode]
11. BeliefBank : "Menjelajahi Peran Representasi Token BERT untuk Menjelaskan Hasil Penyelidikan Kalimat". EMNLP(2021) [PDF] [Kode]
12. Phrase-BERT : "Phrase-BERT: Peningkatan Penyematan Frase dari BERT dengan Penerapan pada Eksplorasi Corpus". EMNLP(2021) [PDF] [Kode]
13. "Model Terlatih dengan Peningkatan Sintaks". ACL(2021) [PDF] [Kode]
14. StructFormer : "StructFormer: Induksi Gabungan Tanpa Pengawasan atas Ketergantungan dan Struktur Konstituensi dari Pemodelan Bahasa Terselubung". ACL(2021) [PDF]
15. ERICA : "ERICA: Meningkatkan Pemahaman Entitas dan Relasi untuk Model Bahasa Terlatih melalui Pembelajaran Kontrastif". ACL(2021) [PDF] [Kode]
16. "Panduan Struktural untuk Model Bahasa Transformer". ACL(2021) [PDF] [Kode]
17. HORNET : "HORNET: Memperkaya Representasi Bahasa Terlatih dengan Sumber Pengetahuan Heterogen". CIKM(2021) [PDF]
18. "Jatuhkan Redundan, Kecilkan Tidak Relevan: Suntikan Pengetahuan Selektif untuk Pra-Pelatihan Bahasa". IJCAI(2021) [PDF]

Multibahasa

1. XLM : "Pelatihan Awal Model Bahasa Lintas Bahasa". arXiv(2019) [PDF] [Kode]
2. "Penyematan Kalimat Multibahasa Secara Besar-besaran untuk Transfer Lintas Bahasa Zero-Shot dan Lebih Lanjut". TACL(2019) [PDF] [Kode]
3. UDify : "75 Bahasa, 1 Model: Mengurai Ketergantungan Universal Secara Universal". EMNLP(2019) [PDF] [Kode]
4. Unicoder : "Unicoder: Encoder Bahasa Universal dengan Pra-pelatihan dengan Berbagai Tugas Lintas Bahasa". EMNLP(2019) [PDF]
5. XLM-R : "Pembelajaran Representasi Lintas Bahasa Tanpa Pengawasan dalam Skala Besar". ACL(2020) [PDF]
6. "Penyelarasan Multibahasa dari Representasi Kata Kontekstual". ICLR(2020) [PDF]
7. mBART : "Pra-pelatihan Denoising Multibahasa untuk Terjemahan Mesin Neural". TACL(2020) [PDF] [Kode]
8. mT5 : "mT5: Transformator Teks-ke-Teks Multibahasa yang Telah Dilatih Secara Besar-besaran". NAACL(2021) [PDF] [Kode]
9. InfoXLM : "InfoXLM: Kerangka Teori Informasi untuk Pra-Pelatihan Model Bahasa Lintas Bahasa". NAACL(2021) [PDF] [Kode]
10. "Mengalokasikan Kapasitas Kosakata yang Besar untuk Pra-pelatihan Model Bahasa Lintas Bahasa". EMNLP(2021) [PDF] [Kode]
11. ERNIE-M : "ERNIE-M: Peningkatan Representasi Multibahasa dengan Menyelaraskan Semantik Lintas Bahasa dengan Monolingual Corpora". EMNLP(2021) [PDF] [Kode]
12. "Metode Geometris Sederhana untuk Transformasi Linguistik Lintas Bahasa dengan Autoencoder Terlatih". EMNLP(2021) [PDF]
13. "Meningkatkan Transfer Lintas Bahasa melalui Pembelajaran Mandiri dengan Estimasi Ketidakpastian". EMNLP(2021) [PDF]
14. "Seberapa Bagus Tokenizer Anda? Tentang Kinerja Monolingual Model Bahasa Multibahasa". ACL(2021) [PDF] [Kode]
15. "Pra-pelatihan Multibahasa dengan Pembelajaran Ketergantungan Universal". NeurIPS(2021) [PDF]

Multi-Modal

1. ViLBERT : "ViLBERT: Pra-pelatihan Representasi Visiolinguistik Tugas-Agnostik untuk Tugas Penglihatan dan Bahasa". NeuralIPS(2019) [PDF]
2. LXMERT : "LXMERT: Mempelajari Representasi Encoder Lintas Modalitas dari Transformers". EMNLP(2019) [PDF] [Kode]
3. VideoBERT : "VideoBERT: Model Gabungan untuk Pembelajaran Representasi Video dan Bahasa" ICCV(2019) [PDF]
4. VisualBERT : "VisualBERT: Garis Dasar yang Sederhana dan Berkinerja untuk Visi dan Bahasa". arXiv(2019) [PDF]
5. B2T2 : "Penggabungan Objek yang Terdeteksi dalam Teks untuk Menjawab Pertanyaan Visual". EMNLP(2019) [PDF] [Kode]
6. VL-BERT : "VL-BERT: Pra-pelatihan Representasi Visual-Linguistik Generik". ICLR(2020) [PDF] [Kode]
7. Unicoder-VL : "Unicoder-VL: Encoder Universal untuk Penglihatan dan Bahasa dengan Pra-Pelatihan Lintas Modal". AAAI(2020) [PDF]
8. VLP : "Pra-Pelatihan Bahasa Visi Terpadu untuk Teks Gambar dan VQA". AAAI(2020) [PDF] [Kode]
9. UNITER : "UNITER: Pembelajaran Representasi Gambar-Teks UNIversal". ECCV(2020) [PDF] [Kode]
10. Oscar : "Oscar: Pra-pelatihan Semantik Objek yang Diselaraskan untuk Tugas Penglihatan-Bahasa". ECCV(2020) [PDF] [Kode]
11. "12-in-1: Visi Multi-Tugas dan Pembelajaran Representasi Bahasa". CVPR(2020) [PDF] [Kode]
12. ActBERT : "ActBERT: Mempelajari Representasi Video-Teks Global-Lokal". CVPR(2020) [PDF]
13. VLN : "Navigasi Bahasa Visi Dengan Tugas Penalaran Tambahan yang Diawasi Sendiri". CVPR(2020) [PDF]
14. VILLA : "Pelatihan Adversarial Skala Besar untuk Pembelajaran Representasi Visi dan Bahasa". arXiv(2020) [PDF] [Kode]
15. ImageBERT : "ImageBERT: Pra-pelatihan lintas modal dengan Data Gambar-Teks Skala Besar dengan Pengawasan Lemah". arXiv(2020) [PDF]
16. ALIGN : "Meningkatkan Pembelajaran Representasi Visual dan Visi-Bahasa Dengan Supervisi Teks Bising". ICML(2021) [PDF]
17. ClipBERT : "Less Is More: ClipBERT untuk Pembelajaran Video dan Bahasa melalui Sparse Sampling". CVPR(2021) [PDF] [Kode]
18. DALL·E : "Pembuatan Teks-ke-Gambar Zero-Shot". arXiv(2021) [PDF] [Kode]
19. CLIP : "Mempelajari Model Visual yang Dapat Dipindahtangankan Dari Pengawasan Bahasa Alami". arXiv(2021) [PDF] [Kode]
20. IPT : "Trafo Pemrosesan Gambar Terlatih". CVPR(2021) [PDF] [Kode]
21. CvT : "CvT: Memperkenalkan Konvolusi pada Vision Transformers". ICCV(2021) [PDF] [Kode]
22. "Meningkatkan Pembelajaran Representasi Visual dan Visi-Bahasa Dengan Supervisi Teks Bising". ICML(2021) [PDF]
23. TERA : "TERA: Pembelajaran yang Diawasi Sendiri dari Representasi Encoder Transformer untuk Pidato". TASLP(2021) [PDF] [Kode]
24. CaiT : "Mendalami lebih dalam dengan Image Transformers". ICCV(2021) [PDF] [Kode]
25. ViViT : "ViViT: Transformator Visi Video". ICCV(2021) [PDF] [Kode]
26. VirTex : "VirTex: Mempelajari Representasi Visual Dari Anotasi Tekstual". CVPR(2021) [PDF] [Kode]
27. M6 : "M6: Mega-transformator Multi-Modalitas-ke-Multi-Modalitas untuk Pra-Pelatihan Terpadu". KDD(2021) [PDF]
28. "Menyelidiki Antar-modalitas: Penguraian Visual dengan Perhatian Diri untuk Pra-pelatihan Penglihatan dan Bahasa". NeurIPS(2021) [PDF]
29. GilBERT : "GilBERT: Pra-Pelatihan Bahasa Visi Generatif untuk Tugas Visual-Linguistik Modalitas-Tidak Lengkap". SIGIR(2021) [PDF]

Pengambilan Informasi

1. ORQA : "Pengambilan Laten untuk Jawaban Pertanyaan Domain Terbuka dengan Pengawasan Lemah". ACL(2019) [PDF]
2. REALM : "REALM: Pra-Pelatihan Model Bahasa Retrieval-Augmented". arXiv(2020) [PDF]
3. RAG : "Generasi Pengambilan Augmented untuk Tugas NLP Intensif Pengetahuan". NeurIPS(2020) [PDF] [Kode]
4. DPR : "Pengambilan Bagian Padat untuk Menjawab Pertanyaan Domain Terbuka". EMNLP(2020) [PDF] [Kode]
5. "Memanfaatkan Pengambilan Bagian dengan Model Generatif untuk Menjawab Pertanyaan Domain Terbuka". EACL(2021) [PDF] [Kode]

Kode

1. CodeT5 : "CodeT5: Model Encoder-Decoder Terpadu yang Sadar Pengidentifikasi untuk Pemahaman dan Pembuatan Kode". EMNLP(2021) [PDF] [Kode]
2. Codex : "Mengevaluasi Model Bahasa Besar yang Dilatih tentang Kode". arXiv(2021) [PDF] [Kode]

Yang lain

1. ReasonBERT : "ReasonBERT: Dilatih untuk Bernalar dengan Pengawasan Jarak Jauh". EMNLP(2021) [PDF] [Kode]
2. "Autoencoder Kemacetan Kalimat dari Model Bahasa Transformer". EMNLP(2021) [PDF] [Kode]
3. "Berhitung meningkatkan Literasi Model Bahasa". EMNLP(2021) [PDF] [Kode]
4. EnsLM : "EnsLM: Model Bahasa Ensemble untuk Keanekaragaman Data dengan Pengelompokan Semantik". ACL(2021) [PDF] [Kode]
5. "Penguraian Kode Reflektif: Melampaui Generasi Searah dengan Model Bahasa Siap Pakai". ACL(2021) [PDF] [Kode]
6. BERTAC : "BERTAC: Meningkatkan Model Bahasa Berbasis Transformator dengan Jaringan Neural Konvolusional yang Telah Dilatih Sebelumnya". ACL(2021) [PDF] [Kode]
7. "Pemahaman Bahasa Alami dengan BERT yang Menjaga Privasi". CIKM(2021) [PDF]
8. BANG : "BANG: Menjembatani Generasi Autoregresif dan Non-autoregresif dengan Pra-pelatihan Skala Besar". ICML(2021) [PDF] [Kode]

Analisis PLM

Pengetahuan

1. "Apa yang Dilihat BERT? Analisis Perhatian BERT". BlackBoxNLP(2019) [PDF] [Kode]
2. "BERT Menemukan Kembali Saluran NLP Klasik". ACL(2019) [PDF]
3. "Seberapa Multibahasa BERT Multibahasa?". ACL(2019) [PDF]
4. "Penyelidikan Struktural untuk Menemukan Sintaks dalam Representasi Kata". NAACL(2019) [PDF] [Kode]
5. "Model Bahasa sebagai Basis Pengetahuan?". EMNLP(2019) [PDF] [Kode]
6. "Apa yang BERT Pelajari tentang Struktur Bahasa?". ACL(2019) [PDF] [Kode]
7. "Pengetahuan Linguistik dan Transferabilitas Representasi Kontekstual". NAACL(2019) [PDF]
8. "Menilai Kemampuan Sintaksis BERT". arXiv(2019) [PDF] [Kode]
9. "Menyelidiki Pemahaman Jaringan Syaraf tentang Argumen Bahasa Alami" ACL(2019) [PDF]
10. "Seberapa Kontekstual Representasi Kata yang Dikontekstualisasikan? Membandingkan Geometri Embeddings BERT, ELMo, dan GPT-2". EMNLP(2019) [PDF]
11. "Memvisualisasikan dan Mengukur Geometri BERT". NeurIPS(2019) [PDF]
12. "Merancang dan Menafsirkan Probe dengan Tugas Kontrol". EMNLP(2019) [PDF]
13. "Open Sesame: Mendalami Pengetahuan Linguistik BERT". BlackboxNLP(2019) [PDF] [Kode]
14. "Apa yang Anda pelajari dari konteks? Menyelidiki struktur kalimat dalam representasi kata yang dikontekstualisasikan". ICLR(2019) [PDF] [Kode]
15. "Penambangan Pengetahuan Akal Sehat dari Model Terlatih". EMNLP(2019) [PDF]
16. "Apakah Model NLP Mengetahui Angka? Menyelidiki Numerasi dalam Embeddings". EMNLP(2019) [PDF]
17. "Tentang Transferabilitas Lintas Bahasa dari Representasi Monolingual". ACL(2020) [PDF]
18. "Kemampuan Lintas Bahasa BERT Multibahasa: Sebuah Studi Empiris". ICLR(2020) [PDF] [Kode]
19. "Yang Bukan BERT: Pelajaran dari Rangkaian Diagnostik Psikolinguistik Baru untuk Model Bahasa". TACL(2020) [PDF] [Kode]
20. "Berapa Banyak Pengetahuan yang Dapat Anda Masukkan ke dalam Parameter Model Bahasa?". EMNLP(2020) [PDF] [Kode]
21. "Bagaimana Kita Bisa Mengetahui Model Bahasa yang Diketahui?". TACL(2020) [PDF] [Kode]
22. "oLMpics-Tentang Model Bahasa Apa yang Diambil Pra-pelatihan". TACL(2020) [PDF] [Kode]
23. "Penyelidikan Teori-Informasi dengan Panjang Deskripsi Minimum". EMNLP(2020) [PDF] [Kode]
24. "Mendorong Pengetahuan Relasional dari BERT". AAAI(2020) [PDF]
25. AutoPrompt : "AutoPrompt: Memunculkan Pengetahuan dari Model Bahasa dengan Perintah yang Dihasilkan Secara Otomatis". EMNLP(2020) [PDF] [Kode]
26. "Struktur linguistik yang muncul dalam jaringan saraf tiruan yang dilatih dengan pengawasan mandiri". PNAS(2020) [PDF]
27. "Mengevaluasi Akal Sehat dalam Model Bahasa yang Telah Dilatih". AAAI(2020) [PDF] [Kode]
28. "Mendorong Pengetahuan Relasional dari BERT". AAAI(2020) [PDF]
29. "Mengedit Pengetahuan Faktual dalam Model Bahasa". EMNLP(2021) [PDF] [Kode]
30. "Berapa banyak data prapelatihan yang dibutuhkan model bahasa untuk mempelajari sintaksis?". EMNLP(2021) [PDF]
31. "Ibu tiri itu kejam dan akademisinya sok: Apa yang dipelajari model bahasa terlatih tentang Anda?". EMNLP(2021) [PDF] [Kode]
32. "Menempatkan Kata di Mulut BERT: Menavigasi Ruang Vektor Kontekstual dengan Kata Pseudo". EMNLP(2021) [PDF] [Kode]
33. "Efek Frekuensi pada Pembelajaran Aturan Sintaksis di Transformers". EMNLP(2021) [PDF] [Kode]
34. "Menjelajahi Peran Representasi Token BERT untuk Menjelaskan Hasil Penyelidikan Kalimat". EMNLP(2021) [PDF] [Kode]
35. "Bagaimana BERT terkejut? Deteksi anomali linguistik secara berlapis". ACL(2021) [PDF] [Kode]
36. "Representasi Makna Implisit dalam Model Bahasa Neural". ACL(2021) [PDF] [Kode]
37. "Tebakan Berpengetahuan atau Terdidik? Meninjau Kembali Model Bahasa sebagai Basis Pengetahuan". ACL(2021) [PDF] [Kode]

Kekokohan

1. "Pemicu Permusuhan Universal untuk Menyerang dan Menganalisis NLP". EMNLP(2019) [PDF] [Kode]
2. "Transformator Terlatih Meningkatkan Kekokohan Di Luar Distribusi". ACL(2020) [PDF] [Kode]
3. BERT-ATTACK : "BERT-ATTACK: Serangan Adversarial Terhadap BERT Menggunakan BERT". EMNLP(2020) [PDF] [Kode]
4. "Apakah BERT Benar-benar Kuat? Dasar Kuat untuk Serangan Bahasa Alami pada Klasifikasi dan Entailment Teks". AAAI(2020) [PDF] [Kode]
5. "Iblis Ada dalam Detailnya: Trik Sederhana Meningkatkan Generalisasi Transformers yang Sistematis". EMNLP(2021) [PDF] [Kode]
6. "Memilah kebisingan: Menguji ketahanan pemrosesan informasi dalam model bahasa yang telah dilatih sebelumnya". EMNLP(2021) [PDF] [Kode]

ketersebaran

1. "Apakah Enam Belas Kepala Lebih Baik dari Satu?". NeurIPS(2019) [PDF] [Kode]
2. "Menganalisis Perhatian Diri Multi-Kepala: Kepala Khusus Melakukan Pengangkatan Berat, Sisanya Dapat Dipangkas". ACL(2019) [PDF] [Kode]
3. "Mengungkap Rahasia Gelap BERT". EMNLP(2019) [PDF]
4. "Hipotesis Tiket Lotere untuk Jaringan BERT yang telah dilatih sebelumnya". NeurIPS(2020) [PDF] [Kode]
5. "Saat BERT Memainkan Lotere, Semua Tiket Menang". EMNLP(2020) [PDF] [Kode]

Yang lain

1. "Hukum Penskalaan untuk Model Bahasa Neural". arXiv(2020) [PDF]
2. "Mengekstraksi Data Pelatihan dari Model Bahasa Besar". arXiv(2020) [PDF] [Kode]
3. "Tentang Bahaya Burung Beo Stokastik: Bisakah Model Bahasa Menjadi Terlalu Besar? ?". FACCT(2021) [PDF]
4. "Mengekstraksi Data Pelatihan dari Model Bahasa Besar". USENIX(2021) [PDF] [Kode]
5. "Pemodelan Bahasa Terselubung dan Hipotesis Distribusi: Pra-pelatihan Penting untuk Si Kecil". EMNLP(2021) [PDF] [Kode]
6. "Pengaruh Pertumbuhan Norma Parameter Selama Pelatihan Transformator: Bias Induktif dari Penurunan Gradien". EMNLP(2021) [PDF] [Kode]
7. "Gradien Terintegrasi Terdiskritisasi untuk Menjelaskan Model Bahasa". EMNLP(2021) [PDF] [Kode]
8. "Apakah Model Bahasa Jangka Panjang Sebenarnya Menggunakan Konteks Jangka Panjang?". EMNLP(2021) [PDF]
9. "Kompetisi Bentuk Permukaan: Mengapa Jawaban dengan Kemungkinan Tertinggi Tidak Selalu Benar". EMNLP(2021) [PDF] [Kode]
10. "Memasukkan Lapisan Residual dan Normalisasi ke dalam Analisis Model Bahasa Terselubung". EMNLP(2021) [PDF] [Kode]
11. "Panjang Urutan adalah Domain: Overfitting Berbasis Panjang dalam Model Transformer". EMNLP(2021) [PDF]
12. "Apakah Konvolusi Terlatih Lebih Baik daripada Transformer Terlatih?". ACL(2021) [PDF]
13. "Artefak Posisi Disebarkan Melalui Penyematan Model Bahasa Terselubung". ACL(2021) [PDF]
14. "Kapan Anda Membutuhkan Miliaran Kata Data Pra-Pelatihan?". ACL(2021) [PDF] [Kode]
15. "BERT bagi NLP sama dengan AlexNet bagi CV: Dapatkah Model Bahasa Terlatih Mengidentifikasi Analogi?". ACL(2021) [PDF] [Kode]
16. "Meneliti Bias Induktif Model Bahasa Neural dengan Bahasa Buatan". ACL(2021) [PDF] [Kode]
17. "Mengapa Model Bahasa yang Telah Dilatih Membantu Tugas Hilir? Analisis Penyetelan Head dan Prompt". NeurIPS(2021) [PDF]

PLM yang efisien

Pelatihan

1. RoBERTa : "RoBERTa: Pendekatan Pra-Pelatihan BERT yang Dioptimalkan dengan Kuat". arXiv(2019) [PDF] [Kode]
2. "Pelatihan BERT yang Efisien dengan Penumpukan Secara Progresif". ICML(2019) [PDF] [Kode]
3. Megatron-LM : "Megatron-LM: Melatih Model Bahasa Multi-Miliar Parameter Menggunakan Model Paralelisme". arXiv(2019) [PDF] [Kode]
4. ELECTRA : "ELECTRA: Pembuat Enkode Teks Pra-pelatihan sebagai Diskriminator Daripada Generator". ICLR(2020) [PDF] [Kode]
5. "Optimasi Batch Besar untuk Pembelajaran Mendalam: Pelatihan BERT dalam 76 menit". ICLR(2020) [PDF] [Kode]
6. GShard : "GShard: Menskalakan Model Raksasa dengan Komputasi Bersyarat dan Sharding Otomatis". arXiv(2020) [PDF]
7. Admin : “Memahami Sulitnya Melatih Transformer”. EMNLP(2020) [PDF] [Kode]
8. ZeRO : "ZeRO: Optimalisasi Memori Menuju Pelatihan Model Triliun Parameter". SC20: International Conference for High Performance Computing, Networking, Storage and Analysis [PDF] [Kode]
9. Switch Transformers : "Switch Transformers: Menskalakan Model Parameter Triliun dengan Ketersebaran yang Sederhana dan Efisien". arXiv(2021) [PDF] [Kode]
10. "Cara Melatih BERT dengan Anggaran Akademik". EMNLP(2021) [PDF]
11. "Mengoptimalkan Transformer yang Lebih Dalam pada Kumpulan Data Kecil". ACL(2021) [PDF] [Kode]
12. "EarlyBERT: Pelatihan BERT yang Efisien melalui Tiket Lotere Early-bird". ACL(2021) [PDF] [Kode]

Kesimpulan

1. "BERT Kehilangan Kesabaran: Inferensi Cepat dan Kuat dengan Keluar Lebih Awal". NeurIPS(2020) [PDF] [Kode]
2. GAML-BERT : "GAML-BERT: Meningkatkan BERT Early Exiting dengan Gradient Aligned Mutual Learning". EMNLP(2021) [PDF]
3. "Model Bahasa Tetangga Terdekat yang Efisien". EMNLP(2021) [PDF] [Kode]
4. GhostBERT : "GhostBERT: Hasilkan Lebih Banyak Fitur dengan Operasi Murah untuk BERT". ACL(2021) [PDF] [Kode]
5. LeeBERT : "LeeBERT: Mempelajari Early Exit untuk BERT dengan optimasi lintas level". ACL(2021) [PDF]
6. "Trafo Adaptif Panjang: Latih Sekali dengan Penurunan Panjang, Gunakan Kapan Saja dengan Penelusuran". ACL(2021) [PDF] [Kode]
7. "Menyaring Pengetahuan dari BERT menjadi Jaringan Neural Sederhana yang Terhubung Sepenuhnya untuk Pengambilan Vertikal yang Efisien". CIKM(2021) [PDF]

Kompresi

1. DistilBERT : "DistilBERT, versi sulingan BERT: lebih kecil, lebih cepat, lebih murah, dan lebih ringan". arXiv(2019) [PDF] [Kode]
2. PKD : “Distilasi Pengetahuan Pasien untuk Kompresi Model BERT”. EMNLP(2019) [PDF] [Kode]
3. "Menyaring Pengetahuan Khusus Tugas dari BERT ke dalam Jaringan Neural Sederhana". arXiv(2019) [PDF]
4. Q8BERT : "Q8BERT: BERT 8Bit terkuantisasi". 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing - NeurIPS 2019 [PDF]
5. ALBERT : "ALBERT: BERT Ringan untuk Pembelajaran Representasi Bahasa yang Diawasi Sendiri". ICLR(2020) [PDF] [Kode]
6. TinyBERT : "TinyBERT: Menyaring BERT untuk Pemahaman Bahasa Alami". EMNLP(2020) [PDF] [Kode]
7. Layerdrop : "Mengurangi Kedalaman Transformer Sesuai Permintaan dengan Dropout Terstruktur". ICLR(2020) [PDF] [Kode]
8. Q-BERT : "Q-BERT: Kuantisasi BERT Presisi Ultra Rendah Berbasis Hessian". AAAI(2020) [PDF]
9. MobileBERT : "MobileBERT: BERT Tugas-Agnostik Ringkas untuk Perangkat dengan Sumber Daya Terbatas". ACL(2020) [PDF] [Kode]
10. "Mengompresi BERT: Mempelajari Pengaruh Pemangkasan Berat Badan pada Pembelajaran Transfer". 5th Workshop on Representation Learning for NLP(2020) [PDF] [Kode]
11. MiniLM : "MiniLM: Distilasi Perhatian Diri Mendalam untuk Kompresi Agnostik Tugas dari Transformers yang Telah Dilatih". arXiv(2020) [PDF] [Kode]
12. FastBERT : "FastBERT: BERT penyulingan mandiri dengan Waktu Inferensi Adaptif". ACL(2020) [PDF] [Kode]
13. DeeBERT : "DeeBERT: Keluar Dini Dinamis untuk Mempercepat Inferensi BERT". ACL(2020) [PDF] [Kode]
14. "Mengompresi Model Berbasis Transformator Skala Besar: Studi Kasus BERT". TACL(2021) [PDF]
15. "Memenangkan Lotere dengan Sparsifikasi Berkelanjutan". NeurIPS(2020) [PDF] [Kode]
16. SqueezeBERT : "SqueezeBERT: Apa yang dapat diajarkan oleh computer vision kepada NLP tentang jaringan saraf yang efisien?". SustaiNLP(2020) [PDF]
17. Audio ALBERT : "Audio Albert: Bert Ringan untuk Pembelajaran Representasi Audio yang Diawasi Sendiri". SLT(2021) [PDF] [Kode]
18. T2R : "Menyempurnakan Transformer yang Telah Dilatih Menjadi RNN". EMNLP(2021) [PDF] [Kode]
19. "Melampaui Akurasi yang Dipertahankan: Mengevaluasi Loyalitas dan Kekokohan Kompresi BERT". EMNLP(2021) [PDF] [Kode]
20. Meta-KD : "Meta-KD: Kerangka Penyulingan Pengetahuan Meta untuk Kompresi Model Bahasa di Seluruh Domain". ACL(2021) [PDF] [Kode]
21. "Tiket Super dalam Model Bahasa Terlatih: Dari Kompresi Model hingga Peningkatan Generalisasi". ACL(2021) [PDF] [Kode]
22. BinaryBERT : "BinaryBERT: Mendorong Batas Kuantisasi BERT". ACL(2021) [PDF] [Kode]
23. AutoTinyBERT : "AutoTinyBERT: Optimasi Hyper-parameter Otomatis untuk Model Bahasa Terlatih yang Efisien". ACL(2021) [PDF] [Kode]
24. "Utilitas Marginal Berkurang: Menjelajahi Pengetahuan Minimum untuk Penyulingan Pengetahuan BERT". ACL(2021) [PDF] [Kode]
25. "Mengaktifkan Penyempurnaan Ringan untuk Kompresi Model Bahasa yang telah dilatih sebelumnya berdasarkan Operator Produk Matriks". ACL(2021) [PDF] [Kode]
26. NAS-BERT : "NAS-BERT: Kompresi BERT Tugas-Agnostik dan Ukuran Adaptif dengan Pencarian Arsitektur Neural". KDD(2021) [PDF]

Adaptasi PLM

Dua Tahap

1. "Pengkode Kalimat pada STILT: Pelatihan Tambahan tentang Tugas Data Berlabel Menengah". arXiv(2018) [PDF] [Kode]
2. "Bagaimana Menyempurnakan BERT untuk Klasifikasi Teks?". CCL(2019) [PDF]
3. "Jangan Berhenti Pelatihan Awal: Sesuaikan Model Bahasa dengan Domain dan Tugas". ACL(2020) [PDF] [Kode]
4. "Pembelajaran Transfer Tugas Menengah dengan Model Bahasa Terlatih: Kapan dan Mengapa Berhasil?". ACL(2020) [PDF]
5. "Apa yang Harus Dilatih Sebelumnya? Pemilihan Tugas Menengah yang Efisien". EMNLP(2021) [PDF] [Kode]
6. "Tentang Pengaruh Kebijakan Masking pada Pra-pelatihan Menengah". EMNLP(2021) [PDF]
7. TADPOLE : "TADPOLE: Tugas Pra-Pelatihan yang Diadaptasi melalui Deteksi AnOmaLy". EMNLP(2021) [PDF]

Multi-Tugas

1. MT-DNN : "Jaringan Neural Dalam Multi-Tugas untuk Pemahaman Bahasa Alami". ACL(2019) [PDF] [Kode]
2. "BAM! Jaringan Multi-Tugas yang Dilahirkan Kembali untuk Pemahaman Bahasa Alami". ACL(2019) [PDF] [Kode]
3. "Meningkatkan Jaringan Neural Dalam Multi-Tugas melalui Distilasi Pengetahuan untuk Pemahaman Bahasa Alami". arXiv(2019) [PDF] [Kode]
4. GradTS : "GradTS: Metode Pemilihan Tugas Bantu Otomatis Berbasis Gradien Berdasarkan Jaringan Transformer". EMNLP(2021) [PDF]
5. "Apa yang Ada di Kepala Anda? Perilaku yang Muncul dalam Model Transformator Multi-Tugas". EMNLP(2021) [PDF]
6. MTAdam : "MTAdam: Penyeimbangan Otomatis dari Beberapa Ketentuan Kerugian Pelatihan". EMNLP(2021) [PDF]
7. Muppet : "Muppet: Representasi Multi-tugas Besar-besaran dengan Pra-Penyempurnaan". EMNLP(2021) [PDF]
8. "Hipotesis Stem Cell: Dilema dibalik Pembelajaran Multi-Tugas dengan Transformer Encoder". EMNLP(2021) [PDF] [Kode]
9. BERTGen : "BERTGen: Pembuatan Multi-tugas melalui BERT". ACL(2021) [PDF] [Kode]
10. "Penyempurnaan Multi-tugas yang hemat parameter untuk Transformer melalui Hypernetwork Bersama". ACL(2021) [PDF] [Kode]

Adaptor

1. "BERT dan PALs: Lapisan Perhatian yang Diproyeksikan untuk Adaptasi Efisien dalam Pembelajaran Multi-Tugas". ICML(2019) [PDF] [Kode]
2. Adaptor : "Pembelajaran Transfer Efisien Parameter untuk NLP". ICML(2019) [PDF] [Kode]
3. AdapterDrop : "AdapterDrop: Tentang Efisiensi Adaptor di Transformers". EMNLP(2021) [PDF]
4. "Tentang Efektivitas Penyetelan Berbasis Adaptor untuk Adaptasi Model Bahasa yang Telah Dilatih". ACL(2021) [PDF]
5. "Belajar Menghasilkan Adaptor Khusus Tugas dari Deskripsi Tugas". ACL(2021) [PDF] [Kode]

Mengingatkan

1. PET : "Memanfaatkan Pertanyaan Cloze untuk Klasifikasi Teks Sedikit dan Inferensi Bahasa Alami". EACL(2021) [PDF] [Kode]
2. "Bukan Hanya Ukuran Yang Penting: Model Bahasa Kecil Juga Sedikit Pembelajar". NAACL(2021) [PDF] [Kode]
3. "Penyetelan Awalan: Mengoptimalkan Perintah Berkelanjutan untuk Pembuatan". arXiv(2021) [PDF]
4. LM-BFF : "Membuat Model Bahasa Terlatih Menjadi Pembelajar Sedikit yang Lebih Baik". ACL(2021) [PDF] [Kode]
5. "Apa yang Menjadi Contoh Dalam Konteks yang Baik untuk GPT-3?". arXiv(2021) [PDF] [Kode]
6. "Kekuatan Skala untuk Penyetelan Cepat yang Efisien Parameter". EMNLP(2021) [PDF] [Kode]
7. "Model Bahasa yang Disempurnakan Adalah Pembelajar Zero-Shot". arXiv(2021) [PDF]
8. "Kalibrasi Sebelum Digunakan: Meningkatkan Performa Model Bahasa Beberapa Gambar". ICML(2021) [PDF] [Kode]
9. TransPrompt : "TransPrompt: Menuju Kerangka Kerja Prompt yang Dapat Dipindahtangankan Otomatis untuk Klasifikasi Teks Sedikit". EMNLP(2021) [PDF] [Kode]
10. SFLM : "Meninjau Kembali Pelatihan Mandiri untuk Pembelajaran Model Bahasa Sedikit". EMNLP(2021) [PDF] [Kode]
11. ADAPET : “Pelatihan Peningkatan dan Penyederhanaan Pemanfaatan Pola”. EMNLP(2021) [PDF] [Kode]

Yang lain

1. "Menyetel atau Tidak Menyetel? Mengadaptasi Representasi Terlatih untuk Beragam Tugas". RepL4NLP(2019) [PDF]
2. "Pendekatan Sederhana yang Memalukan untuk Pembelajaran Transfer dari Model Bahasa yang Telah Dilatih". NAACL(2019) [PDF] [Kode]
3. "Penyempurnaan Model Bahasa yang Telah Dilatih: Inisialisasi Bobot, Urutan Data, dan Penghentian Awal". arXiv(2020) [PDF]
4. SMART : "SMART: Penyempurnaan yang Kuat dan Efisien untuk Model Bahasa Alami Terlatih melalui Optimasi Teratur yang Berprinsip". EMNLP(2020) [PDF] [Kode]
5. "Meninjau kembali beberapa contoh penyempurnaan BERT". ICLR(2021) [PDF]
6. Mirror-BERT : "Cepat, Efektif, dan Diawasi Sendiri: Mengubah Model Bahasa Terselubung menjadi Pembuat Enkode Leksikal dan Kalimat Universal". EMNLP(2021) [PDF] [Kode]
7. "Pra-pelatihan atau Anotasi? Adaptasi Domain dengan Anggaran Terbatas". EMNLP(2021) [PDF] [Kode]
8. AVocaDo : "AVocaDo: Strategi Adaptasi Kosakata ke Domain Hilir". EMNLP(2021) [PDF]
9. CHILD-TUNING : “Membesarkan Anak dalam Model Bahasa Besar: Menuju Fine-tuning yang Efektif dan Dapat Digeneralisasikan”. EMNLP(2021) [PDF] [Kode]
10. "Menjinakkan Model Bahasa Terlatih dengan Representasi N-gram untuk Adaptasi Domain Sumber Daya Rendah". ACL(2021) [PDF] [Kode]
11. LexFit : "LexFit: Penyempurnaan Leksikal dari Model Bahasa yang Telah Dilatih". ACL(2021) [PDF] [Kode]
12. "Memilih Konteks Informatif Meningkatkan Penyempurnaan Model Bahasa". ACL(2021) [PDF] [Kode]
13. "Studi Empiris tentang Optimasi Hyperparameter untuk Menyempurnakan Model Bahasa Terlatih". ACL(2021) [PDF] [Kode]
14. "Bagaimana Model Bahasa yang Telah Dilatih Sebelumnya Diselaraskan Menuju Kekokohan Permusuhan?". NeurIPS(2021) [PDF] [Kode]