PLMPapers

PLM-Papiere

Beitrag von Xiaolei Wang

Große vorab trainierte Sprachmodelle (PLMs) wie BERT und GPT haben große Erfolge erzielt und sind zu einem Meilenstein im NLP geworden.

In diesem Repo sammeln wir einige repräsentative PLM-Artikel der letzten Jahre, basierend auf der Anzahl der Zitate und Artikel, die auf den neuesten Top-Konferenzen (z. B. ACL, EMNLP, ICLR, ICML, NeurIPS) veröffentlicht wurden.

Wir werden das Repo auf dem neuesten Stand halten und Pull-Anfragen und Probleme willkommen heißen! Vielen Dank für eure Sterne und Gabeln!

Inhaltsverzeichnis

• Umfrage
• Benchmark
• PLM-Design
  • Allgemein
  • Wissen
  • Mehrsprachig
  • Multimodal
  • Informationsabruf
  • Code
  • Andere
• PLM-Analyse
  • Wissen
  • Robustheit
  • Sparsamkeit
  • Andere
• Effizientes PLM
  • Ausbildung
  • Schlussfolgerung
  • Kompression
• PLM-Anpassung
  • Zweistufig
  • Multitasking
  • Adapter
  • Prompt
  • Andere

Umfrage

1. „Vorab trainierte Modelle für die Verarbeitung natürlicher Sprache: Eine Umfrage“. Science China Technological Sciences(2020) [PDF]
2. „Welcher *BERT? Eine Umfrage zur Organisation kontextualisierter Encoder“. EMNLP(2020) [PDF]
3. „Eine Einführung in die BERTologie: Was wir über die Funktionsweise von BERT wissen“ . TACL(2020) [PDF]
4. „Von statischen zu dynamischen Wortdarstellungen: eine Umfrage“. International Journal of Machine Learning and Cybernetics(2020) [PDF]
5. „Überblick über die transformatorbasierten Modelle für NLP-Aufgaben“. 2020 15th Conference on Computer Science and Information Systems (FedCSIS) [PDF]
6. „Eine Umfrage zu kontextuellen Einbettungen“. arXiv(2020) [PDF]
7. „Das NLP-Kochbuch: Moderne Rezepte für transformatorbasierte Deep-Learning-Architekturen“. IEEE Access(2021) [PDF]
8. „Vorgefertigte Modelle: Vergangenheit, Gegenwart und Zukunft“. arXiv(2021) [PDF]
9. „Vorab trainieren, auffordern und vorhersagen: Eine systematische Übersicht über Aufforderungsmethoden in der Verarbeitung natürlicher Sprache“. arXiv(2021) [PDF]
10. „AMMUS: Eine Übersicht über transformatorbasierte vorab trainierte Modelle in der Verarbeitung natürlicher Sprache“. arXiv(2021) [PDF]
11. „Über Chancen und Risiken von Stiftungsmodellen“. arXiv(2021) [PDF]
12. „Paradigmenwechsel in der Verarbeitung natürlicher Sprache“. arXiv(2021) [PDF]
13. „Neueste Fortschritte in der Verarbeitung natürlicher Sprache mithilfe großer vorab trainierter Sprachmodelle: Eine Umfrage“. arXiv(2021) [PDF]

Benchmark

1. XNLI : „XNLI: Bewertung sprachübergreifender Satzdarstellungen“. EMNLP(2018) [PDF] [Datensatz]
2. GLUE : „GLUE: Eine Multi-Task-Benchmark- und Analyseplattform für das Verständnis natürlicher Sprache“. ICLR(2019) [Homepage]
3. SuperGLUE : „SuperGLUE: Ein festerer Maßstab für allgemeine Sprachverständnissysteme“. NeurIPS(2019) [Homepage]
4. CLUE : „CLUE: Ein Benchmark zur Bewertung des chinesischen Sprachverständnisses“. COLING(2020) [Homepage]
5. XTREME : „XTREME: Ein massiv mehrsprachiger Multitask-Benchmark zur Bewertung der sprachübergreifenden Generalisierung“. ICML(2020) [Homepage]
6. XGLUE : „XGLUE: Ein neuer Benchmark-Datensatz für sprachübergreifendes Vortraining, Verständnis und Generierung“. EMNLP(2020) [Homepage]
7. DialoGLUE : „DialoGLUE: Ein Benchmark für das Verständnis natürlicher Sprache für aufgabenorientierten Dialog“. arXiv(2020) [Homepage]

PLM-Design

Allgemein

1. GPT : „Verbesserung des Sprachverständnisses durch generatives Pre-Training“. OpenAI(2018) [Projekt]
2. GPT-2 : „Sprachmodelle sind unbeaufsichtigte Multitasking-Lernende“. OpenAI(2019) [Projekt]
3. BERT : „BERT: Vorschulung tiefer bidirektionaler Transformatoren für das Sprachverständnis“. NAACL(2019) [PDF] [Code]
4. XLNet : „XLNet: Generalisiertes autoregressives Vortraining für Sprachverständnis“. NeurIPS(2019) [PDF] [Code]
5. SBERT : „Satz-BERT: Satzeinbettungen mit siamesischen BERT-Netzwerken“. ACL(2019) [PDF] [Code]
6. UniLM : „Unified Language Model Pre-Training für das Verständnis und die Generierung natürlicher Sprache“. NeurIPS(2019) [PDF] [Code]
7. MASS : „MASS: Maskiertes Sequence-to-Sequence-Vortraining für die Sprachgenerierung“. ICML(2019) [PDF] [Code]
8. Chinese-BERT-wwm : „Vortraining mit Ganzwortmaskierung für Chinesisch BERT“. arXiv(2019) [PDF] [Code]
9. „Lückenlückengesteuertes Vortraining von Selbstaufmerksamkeitsnetzwerken“. EMNLP(2019) [PDF]
10. „BERT hat einen Mund und er muss sprechen: BERT als Markov-Zufallsfeld-Sprachmodell“. Workshop on Methods for Optimizing and Evaluating Neural Language Generation(2019) [PDF] [Code]
11. GPT-3 : „Sprachmodelle sind Few-Shot-Lernende“. NeurIPS(2020) [PDF] [Code]
12. T5 : „Erkundung der Grenzen des Transferlernens mit einem einheitlichen Text-zu-Text-Transformer“. JMLR(2020) [PDF] [Code]
13. BART : „BART: Denoising Sequence-to-Sequence Pre-Training für die Erzeugung, Übersetzung und das Verständnis natürlicher Sprache“. ACL(2020) [PDF] [Code]
14. Poly-Encoder : „Poly-Encoder: Architekturen und Pre-Training-Strategien für eine schnelle und genaue Bewertung mehrerer Sätze“. ICLR(2020) [PDF]
15. SpanBERT : „SpanBERT: Verbesserung des Vortrainings durch Darstellung und Vorhersage von Spannen“. TACL(2020) [PDF] [Code]
16. ERNIE 2.0 : „ERNIE 2.0: Ein kontinuierliches Pre-Training-Framework für das Sprachverständnis“. AAAI(2020) [PDF] [Code]
17. SemBERT : „Semantik-bewusstes BERT für Sprachverständnis“. AAAI(2020) [PDF] [Code]
18. „Nutzung vorab trainierter Prüfpunkte für Aufgaben zur Sequenzgenerierung“. TACL(2020) [PDF] [Code]
19. ProphetNet : „ProphetNet: Vorhersage zukünftiger N-Gramm für Sequence-to-SequencePre-Training“. EMNLP(2020) [PDF]
20. UniLMv2 : „UniLMv2: Pseudomaskierte Sprachmodelle für das Vortraining eines einheitlichen Sprachmodells“. ICML(2020) [PDF] [Code]
21. MacBERT : „Überarbeitung vorgefertigter Modelle für die Verarbeitung natürlicher chinesischer Sprache“. EMNLP(2020) [PDF] [Code]
22. MPNet : „MPNet: Maskiertes und permutiertes Vortraining für Sprachverständnis“. arXiv(2020) [PDF] [Code]
23. DEBERTA : „DeBERTa: Decoding-enhanced BERT with Disentangled Attention“. ICLR(2021) [PDF] [Code]
24. PALM : „PALM: Vorabtraining eines automatisch codierenden und autoregressiven Sprachmodells für die kontextbedingte Generierung“. EMNLP(2020) [PDF]
25. Optimus : „Optimus: Organisieren von Sätzen durch vorab trainierte Modellierung eines latenten Raums“. EMNLP(2020) [PDF] [Code]
26. „Selbsttraining verbessert das Vortraining für das Verständnis natürlicher Sprache“. NAACL(2021) [PDF] [Code]
27. CAPT : „Neudenken der entrauschten automatischen Kodierung im Sprachvorbereitungstraining“. EMNLP(2021) [PDF]
28. „Frustrierend einfache Pretraining-Alternativen zur maskierten Sprachmodellierung“. EMNLP(2021) [PDF] [Code]
29. „Faltungen und Selbstaufmerksamkeit: Neuinterpretation relativer Positionen in vorab trainierten Sprachmodellen“. ACL(2021) [PDF] [Code]
30. ERNIE-Doc : „ERNIE-Doc: Ein retrospektiver Modellierungstransformator für lange Dokumente“. ACL(2021) [PDF] [Code]
31. „Universal Language Representation vor dem Training“. ACL(2021) [PDF] [Code]

Wissen

1. ERNIE (Baidu) : „ERNIE: Verbesserte Darstellung durch Wissensintegration“. arXiv(2019) [PDF] [Code]
2. KnowBert : „Wissensgestützte kontextbezogene Wortdarstellungen“. EMNLP(2019) [PDF]
3. ERNIE (Tsinghua) : „ERNIE: Verbesserte Sprachdarstellung mit informativen Entitäten“. ACL(2019) [PDF] [Code]
4. COMET : „COMET: Commonsense-Transformatoren für die automatische Konstruktion von Wissensgraphen“. ACL(2019) [PDF] [Code]
5. K-BERT : „K-BERT: Sprachdarstellung mit Knowledge Graph ermöglichen“. AAAI(2020) [PDF] [Code]
6. WKLM : „Vortrainierte Enzyklopädie: Schwach überwachtes wissensbasiertes Sprachmodell“. ICLR(2020) [PDF]
7. LUKE : „LUKE: Tief kontextualisierte Entitätsdarstellungen mit entitätsbewusster Selbstaufmerksamkeit“. EMNLP(2020) [PDF] [Code]
8. K-Adapter : „K-Adapter: Mit Adaptern Wissen in vorab trainierte Modelle einbringen“. ICLR(2021) [PDF]
9. KEPLER : „KEPLER: Ein einheitliches Modell für die Einbettung von Wissen und die Darstellung vorab trainierter Sprachen“. TACL(2021) [PDF] [Code]
10. RuleBERT : „RuleBERT: Vermittlung weicher Regeln an vorab trainierte Sprachmodelle“. EMNLP(2021) [PDF] [Code]
11. BeliefBank : „Untersuchung der Rolle von BERT-Token-Darstellungen zur Erklärung der Ergebnisse der Satzprüfung“. EMNLP(2021) [PDF] [Code]
12. Phrase-BERT : „Phrase-BERT: Verbesserte Phraseinbettungen von BERT mit einer Anwendung zur Corpus-Exploration“. EMNLP(2021) [PDF] [Code]
13. „Syntax-erweitertes vorab trainiertes Modell“. ACL(2021) [PDF] [Code]
14. StructFormer : „StructFormer: Gemeinsame unbeaufsichtigte Induktion der Abhängigkeits- und Wahlkreisstruktur durch maskierte Sprachmodellierung“. ACL(2021) [PDF]
15. ERICA : „ERICA: Verbesserung des Entitäts- und Beziehungsverständnisses für vorab trainierte Sprachmodelle durch kontrastives Lernen“. ACL(2021) [PDF] [Code]
16. „Strukturelle Anleitung für Transformer-Sprachmodelle“. ACL(2021) [PDF] [Code]
17. HORNET : „HORNET: Anreicherung vorab trainierter Sprachdarstellungen mit heterogenen Wissensquellen“. CIKM(2021) [PDF]
18. „Redundant fallen lassen, irrelevant schrumpfen: Selektive Wissensinjektion für das Sprachvortraining“. IJCAI(2021) [PDF]

Mehrsprachig

1. XLM : „Cross-lingual Language Model Pretraining“. arXiv(2019) [PDF] [Code]
2. „Massiv mehrsprachige Satzeinbettungen für die sprachübergreifende Zero-Shot-Übertragung und darüber hinaus“. TACL(2019) [PDF] [Code]
3. UDify : „75 Sprachen, 1 Modell: Universelle Abhängigkeiten universell analysieren“. EMNLP(2019) [PDF] [Code]
4. Unicoder : „Unicoder: Ein universeller Sprachkodierer durch Vortraining mit mehreren sprachübergreifenden Aufgaben“. EMNLP(2019) [PDF]
5. XLM-R : „Unüberwachtes sprachübergreifendes Repräsentationslernen im Maßstab“. ACL(2020) [PDF]
6. „Mehrsprachige Ausrichtung kontextueller Wortdarstellungen“. ICLR(2020) [PDF]
7. mBART : „Mehrsprachiges Denoising-Vortraining für neuronale maschinelle Übersetzung“. TACL(2020) [PDF] [Code]
8. mT5 : „mT5: Ein massiv mehrsprachiger vorab trainierter Text-zu-Text-Transformer“. NAACL(2021) [PDF] [Code]
9. InfoXLM : „InfoXLM: Ein informationstheoretischer Rahmen für die Vorschulung sprachübergreifender Sprachmodelle“. NAACL(2021) [PDF] [Code]
10. „Zuweisung großer Vokabelkapazitäten für das Vortraining mit mehrsprachigen Sprachmodellen“. EMNLP(2021) [PDF] [Code]
11. ERNIE-M : „ERNIE-M: Verbesserte mehrsprachige Darstellung durch Ausrichtung der mehrsprachigen Semantik mit einsprachigen Korpora“. EMNLP(2021) [PDF] [Code]
12. „Eine einfache geometrische Methode für sprachübergreifende sprachliche Transformationen mit vorab trainierten Autoencodern“. EMNLP(2021) [PDF]
13. „Förderung des sprachübergreifenden Transfers durch Selbstlernen mit Unsicherheitsschätzung“. EMNLP(2021) [PDF]
14. „Wie gut ist Ihr Tokenizer? Zur einsprachigen Leistung mehrsprachiger Sprachmodelle“. ACL(2021) [PDF] [Code]
15. „Mehrsprachiges Vortraining mit universellem Abhängigkeitslernen“. NeurIPS(2021) [PDF]

Multimodal

1. ViLBERT : „ViLBERT: Vortraining aufgabenunabhängiger visiolinguistischer Darstellungen für Seh- und Sprachaufgaben“. NeuralIPS(2019) [PDF]
2. LXMERT : „LXMERT: Lernen von Cross-Modality-Encoder-Darstellungen aus Transformatoren“. EMNLP(2019) [PDF] [Code]
3. VideoBERT : „VideoBERT: Ein gemeinsames Modell für das Lernen von Video- und Sprachdarstellungen“ ICCV(2019) [PDF]
4. VisualBERT : „VisualBERT: Eine einfache und leistungsstarke Basis für Vision und Sprache“. arXiv(2019) [PDF]
5. B2T2 : „Fusion erkannter Objekte im Text zur visuellen Beantwortung von Fragen“. EMNLP(2019) [PDF] [Code]
6. VL-BERT : „VL-BERT: Vorschulung generischer visuell-linguistischer Darstellungen“. ICLR(2020) [PDF] [Code]
7. Unicoder-VL : „Unicoder-VL: Ein universeller Encoder für Vision und Sprache durch modalübergreifendes Vortraining“. AAAI(2020) [PDF]
8. VLP : „Unified Vision-Language Pre-Training für Bildunterschriften und VQA“. AAAI(2020) [PDF] [Code]
9. UNITER : „UNITER: Universelles Bild-Text-Darstellungslernen“. ECCV(2020) [PDF] [Code]
10. Oscar : „Oscar: Object-Semantics Aligned Pre-Training for Vision-Language Tasks“. ECCV(2020) [PDF] [Code]
11. „12-in-1: Multitasking-Vision und Sprachrepräsentationslernen“. CVPR(2020) [PDF] [Code]
12. ActBERT : „ActBERT: Lernen global-lokaler Videotextdarstellungen“. CVPR(2020) [PDF]
13. VLN : „Vision-Language-Navigation mit selbstüberwachten logischen Hilfsaufgaben“. CVPR(2020) [PDF]
14. VILLA : „Groß angelegtes kontradiktorisches Training zum Lernen von Vision- und Sprachrepräsentation“. arXiv(2020) [PDF] [Code]
15. ImageBERT : „ImageBERT: Cross-modales Pre-Training mit großen, schwach überwachten Bild-Text-Daten“. arXiv(2020) [PDF]
16. ALIGN : „Verbesserung des visuellen und visuellen Sprachrepräsentationslernens durch Überwachung verrauschter Texte“. ICML(2021) [PDF]
17. ClipBERT : „Weniger ist mehr: ClipBERT für Video- und Sprachlernen durch Sparse Sampling“. CVPR(2021) [PDF] [Code]
18. DALL·E : „Zero-Shot Text-to-Image Generation“. arXiv(2021) [PDF] [Code]
19. CLIP : „Lernen übertragbarer visueller Modelle aus der Überwachung natürlicher Sprache“. arXiv(2021) [PDF] [Code]
20. IPT : „Vorab trainierter Bildverarbeitungstransformator“. CVPR(2021) [PDF] [Code]
21. CvT : „CvT: Einführung von Faltungen in Vision Transformers“. ICCV(2021) [PDF] [Code]
22. „Verbesserung des visuellen und visuellen Sprachrepräsentationslernens durch Überwachung verrauschter Texte“. ICML(2021) [PDF]
23. TERA : „TERA: Selbstüberwachtes Lernen der Transformer-Encoder-Darstellung für Sprache“. TASLP(2021) [PDF] [Code]
24. CaiT : „Mit Image Transformers tiefer gehen“. ICCV(2021) [PDF] [Code]
25. ViViT : „ViViT: Ein Video-Vision-Transformer“. ICCV(2021) [PDF] [Code]
26. VirTex : „VirTex: Visuelle Darstellungen aus Textanmerkungen lernen“. CVPR(2021) [PDF] [Code]
27. M6 : „M6: Multi-Modalität-zu-Multi-Modalität-Multitask-Megatransformator für einheitliches Vortraining“. KDD(2021) [PDF]
28. „Untersuchung der Intermodalität: Visuelles Parsen mit Selbstaufmerksamkeit für das Vortraining von Sehvermögen und Sprache“. NeurIPS(2021) [PDF]
29. GilBERT : „GilBERT: Generative Vision-Language Pre-Training für modalitätsunvollständige visuell-linguistische Aufgaben“. SIGIR(2021) [PDF]

Informationsabruf

1. ORQA : „Latenter Abruf für schwach überwachte Open-Domain-Fragenbeantwortung“. ACL(2019) [PDF]
2. REALM : „REALM: Retrieval-Augmented Language Model Pre-Training“. arXiv(2020) [PDF]
3. RAG : „Retrieval-Augmented Generation für wissensintensive NLP-Aufgaben“. NeurIPS(2020) [PDF] [Code]
4. DPR : „Dense Passage Retrieval for Open-Domain Question Answering“. EMNLP(2020) [PDF] [Code]
5. „Nutzung des Passage Retrieval mit generativen Modellen für die Beantwortung von Open-Domain-Fragen“. EACL(2021) [PDF] [Code]

Code

1. CodeT5 : „CodeT5: Identifikatorbewusste einheitliche vorab trainierte Encoder-Decoder-Modelle für das Verständnis und die Generierung von Code“. EMNLP(2021) [PDF] [Code]
2. Codex : „Bewertung großer Sprachmodelle, die auf Code trainiert wurden“. arXiv(2021) [PDF] [Code]

Andere

1. ReasonBERT : „ReasonBERT: Vorgebildet für die Vernunft mit Fernüberwachung.“ EMNLP(2021) [PDF] [Code]
2. „Satzengpass-Autoencoder aus Transformer-Sprachmodellen“. EMNLP(2021) [PDF] [Code]
3. „Rechnenkenntnisse verbessern die Kompetenz von Sprachmodellen“. EMNLP(2021) [PDF] [Code]
4. EnsLM : „EnsLM: Ensemble-Sprachmodell für Datenvielfalt durch semantisches Clustering“. ACL(2021) [PDF] [Code]
5. „Reflektierende Dekodierung: Jenseits der unidirektionalen Erzeugung mit handelsüblichen Sprachmodellen“. ACL(2021) [PDF] [Code]
6. BERTAC : „BERTAC: Verbesserung transformatorbasierter Sprachmodelle mit kontradiktorisch vortrainierten Faltungs-Neuronalen Netzen“. ACL(2021) [PDF] [Code]
7. „Natürliches Sprachverständnis mit datenschutzerhaltendem BERT“. CIKM(2021) [PDF]
8. BANG : „BANG: Überbrückung der autoregressiven und nichtautoregressiven Generation mit groß angelegtem Vortraining“. ICML(2021) [PDF] [Code]

PLM-Analyse

Wissen

1. „Was betrachtet BERT? Eine Analyse der Aufmerksamkeit von BERT“ . BlackBoxNLP(2019) [PDF] [Code]
2. „BERT entdeckt die klassische NLP-Pipeline neu“ . ACL(2019) [PDF]
3. „Wie mehrsprachig ist mehrsprachiges BERT?“ ACL(2019) [PDF]
4. „Eine strukturelle Sonde zum Finden der Syntax in Wortdarstellungen“. NAACL(2019) [PDF] [Code]
5. „Sprachmodelle als Wissensdatenbanken?“. EMNLP(2019) [PDF] [Code]
6. „Was lernt BERT über die Struktur der Sprache?“ ACL(2019) [PDF] [Code]
7. „Sprachwissen und Übertragbarkeit kontextueller Darstellungen“. NAACL(2019) [PDF]
8. „Bewertung der syntaktischen Fähigkeiten von BERT“. arXiv(2019) [PDF] [Code]
9. „Untersuchung des neuronalen Netzwerkverständnisses natürlicher Sprachargumente“ ACL(2019) [PDF]
10. „Wie kontextuell sind kontextualisierte Wortdarstellungen? Vergleich der Geometrie von BERT-, ELMo- und GPT-2-Einbettungen“. EMNLP(2019) [PDF]
11. „Visualisierung und Messung der Geometrie von BERT“. NeurIPS(2019) [PDF]
12. „Entwerfen und Interpretieren von Sonden mit Steuerungsaufgaben“. EMNLP(2019) [PDF]
13. „Open Sesame: Einblick in das Sprachwissen von BERT“ . BlackboxNLP(2019) [PDF] [Code]
14. „Was lernt man aus dem Kontext? Erforschung der Satzstruktur in kontextualisierten Wortdarstellungen“. ICLR(2019) [PDF] [Code]
15. „Commonsense Knowledge Mining aus vorab trainierten Modellen“. EMNLP(2019) [PDF]
16. „Kennen NLP-Modelle Zahlen? Untersuchen der Numeralität bei Einbettungen“. EMNLP(2019) [PDF]
17. „Zur sprachübergreifenden Übertragbarkeit einsprachiger Darstellungen“. ACL(2020) [PDF]
18. „Sprachübergreifende Fähigkeit des mehrsprachigen BERT: Eine empirische Studie“. ICLR(2020) [PDF] [Code]
19. „Was BERT nicht ist: Lehren aus einer neuen Suite psycholinguistischer Diagnostik für Sprachmodelle“. TACL(2020) [PDF] [Code]
20. „Wie viel Wissen können Sie in die Parameter eines Sprachmodells packen?“ EMNLP(2020) [PDF] [Code]
21. „Wie können wir wissen, was Sprachmodelle wissen?“ TACL(2020) [PDF] [Code]
22. „oLMpics-On What Language Model Pre-Training Captures“ . TACL(2020) [PDF] [Code]
23. „Informationstheoretische Untersuchung mit minimaler Beschreibungslänge“. EMNLP(2020) [PDF] [Code]
24. „Induktion von relationalem Wissen durch BERT“. AAAI(2020) [PDF]
25. AutoPrompt : „AutoPrompt: Wissen aus Sprachmodellen mit automatisch generierten Eingabeaufforderungen ermitteln“. EMNLP(2020) [PDF] [Code]
26. „Emergente Sprachstruktur in künstlichen neuronalen Netzen, die durch Selbstüberwachung trainiert werden“. PNAS(2020) [PDF]
27. „Bewertung des gesunden Menschenverstandes in vorab trainierten Sprachmodellen“. AAAI(2020) [PDF] [Code]
28. „Induktion von relationalem Wissen durch BERT“. AAAI(2020) [PDF]
29. „Bearbeiten von Faktenwissen in Sprachmodellen“. EMNLP(2021) [PDF] [Code]
30. „Wie viele Vortrainingsdaten benötigen Sprachmodelle, um Syntax zu lernen?“ EMNLP(2021) [PDF]
31. „Stiefmütter sind gemein und Akademiker sind anmaßend: Was erfahren vortrainierte Sprachmodelle über Sie?“ EMNLP(2021) [PDF] [Code]
32. „BERT Wörter in den Mund legen: Navigieren in kontextualisierten Vektorräumen mit Pseudowörtern“. EMNLP(2021) [PDF] [Code]
33. „Frequenzeffekte auf das Lernen syntaktischer Regeln in Transformatoren“. EMNLP(2021) [PDF] [Code]
34. „Untersuchung der Rolle von BERT-Token-Darstellungen zur Erklärung der Ergebnisse der Satzprüfung“ . EMNLP(2021) [PDF] [Code]
35. „Wie ist BERT überrascht? Schichtweise Erkennung sprachlicher Anomalien“. ACL(2021) [PDF] [Code]
36. „Implizite Bedeutungsdarstellungen im neuronalen Sprachmodell“. ACL(2021) [PDF] [Code]
37. „Fachkundige oder fundierte Vermutung? Sprachmodelle als Wissensdatenbanken erneut aufgreifen“. ACL(2021) [PDF] [Code]

Robustheit

1. „Universelle gegnerische Auslöser für den Angriff und die Analyse von NLP“. EMNLP(2019) [PDF] [Code]
2. „Vortrainierte Transformatoren verbessern die Robustheit außerhalb der Verteilung“. ACL(2020) [PDF] [Code]
3. BERT-ATTACK : „BERT-ATTACK: Gegnerischer Angriff gegen BERT unter Verwendung von BERT“. EMNLP(2020) [PDF] [Code]
4. „Ist BERT wirklich robust? Eine starke Grundlage für Angriffe natürlicher Sprache auf Textklassifizierung und -folge.“ AAAI(2020) [PDF] [Code]
5. „Der Teufel steckt im Detail: Einfache Tricks verbessern die systematische Verallgemeinerung von Transformatoren“ . EMNLP(2021) [PDF] [Code]
6. „Sortieren durch das Rauschen: Testen der Robustheit der Informationsverarbeitung in vorab trainierten Sprachmodellen“. EMNLP(2021) [PDF] [Code]

Sparsamkeit

1. „Sind sechzehn Köpfe wirklich besser als einer?“ NeurIPS(2019) [PDF] [Code]
2. „Analyse der Selbstaufmerksamkeit mehrerer Köpfe: Spezialisierte Köpfe erledigen die schwere Arbeit, der Rest kann beschnitten werden“ . ACL(2019) [PDF] [Code]
3. „Die dunklen Geheimnisse von BERT enthüllen“ . EMNLP(2019) [PDF]
4. „Die Lotterieschein-Hypothese für vorab trainierte BERT-Netzwerke“. NeurIPS(2020) [PDF] [Code]
5. „Wenn BERT im Lotto spielt, gewinnen alle Lose“ . EMNLP(2020) [PDF] [Code]

Andere

1. „Skalierungsgesetze für neuronale Sprachmodelle“. arXiv(2020) [PDF]
2. „Extrahieren von Trainingsdaten aus großen Sprachmodellen“. arXiv(2020) [PDF] [Code]
3. „Über die Gefahren stochastischer Papageien: Können Sprachmodelle zu groß sein??“ FACCT(2021) [PDF]
4. „Extrahieren von Trainingsdaten aus großen Sprachmodellen“. USENIX(2021) [PDF] [Code]
5. „Maskierte Sprachmodellierung und die Verteilungshypothese: Order Word Matters Pre-Training for Little“. EMNLP(2021) [PDF] [Code]
6. „Auswirkungen des Parameternormwachstums während des Transformatortrainings: Induktive Vorspannung durch Gradientenabstieg“. EMNLP(2021) [PDF] [Code]
7. „Diskretisierte integrierte Gradienten zur Erklärung von Sprachmodellen“. EMNLP(2021) [PDF] [Code]
8. „Verwenden Langstrecken-Sprachmodelle tatsächlich Fernkontext?“ EMNLP(2021) [PDF]
9. „Oberflächenformwettbewerb: Warum die Antwort mit der höchsten Wahrscheinlichkeit nicht immer richtig ist“ . EMNLP(2021) [PDF] [Code]
10. „Einbeziehung von Rest- und Normalisierungsschichten in die Analyse maskierter Sprachmodelle“. EMNLP(2021) [PDF] [Code]
11. „Sequenzlänge ist eine Domäne: Längenbasierte Überanpassung in Transformatormodellen“. EMNLP(2021) [PDF]
12. „Sind vorab trainierte Faltungen besser als vorab trainierte Transformatoren?“ ACL(2021) [PDF]
13. „Positionsartefakte breiten sich durch maskierte Sprachmodelleinbettungen aus“. ACL(2021) [PDF]
14. „Wann benötigen Sie Milliarden von Wörtern an Pretraining-Daten?“ ACL(2021) [PDF] [Code]
15. „BERT ist für NLP, was AlexNet für CV ist: Können vorab trainierte Sprachmodelle Analogien identifizieren?“ ACL(2021) [PDF] [Code]
16. „Untersuchung der induktiven Verzerrung neuronaler Sprachmodelle mit künstlichen Sprachen“. ACL(2021) [PDF] [Code]
17. „Warum helfen vorab trainierte Sprachmodelle bei nachgelagerten Aufgaben? Eine Analyse des Kopf- und Prompt-Tunings“. NeurIPS(2021) [PDF]

Effizientes PLM

Ausbildung

1. RoBERTa : „RoBERTa: Ein robust optimierter BERT-Pretraining-Ansatz“. arXiv(2019) [PDF] [Code]
2. „Effizientes Training von BERT durch progressives Stapeln“. ICML(2019) [PDF] [Code]
3. Megatron-LM : „Megatron-LM: Training von Sprachmodellen mit mehreren Milliarden Parametern mithilfe von Modellparallelität“. arXiv(2019) [PDF] [Code]
4. ELECTRA : „ELECTRA: Textkodierer vorab als Diskriminatoren statt als Generatoren trainieren“. ICLR(2020) [PDF] [Code]
5. „Großstapeloptimierung für Deep Learning: BERT in 76 Minuten trainieren“ . ICLR(2020) [PDF] [Code]
6. GShard : „GShard: Skalierung riesiger Modelle mit bedingter Berechnung und automatischem Sharding“. arXiv(2020) [PDF]
7. Admin : „Die Schwierigkeit verstehen, Transformatoren zu trainieren“. EMNLP(2020) [PDF] [Code]
8. ZeRO : „ZeRO: Speicheroptimierungen zum Training von Billionen-Parametermodellen“. SC20: International Conference for High Performance Computing, Networking, Storage and Analysis [PDF] [Code]
9. Switch Transformers : „Switch Transformers: Skalierung auf Billionen-Parametermodelle mit einfacher und effizienter Sparsity“. arXiv(2021) [PDF] [Code]
10. „Wie man BERT mit einem akademischen Budget ausbildet“ . EMNLP(2021) [PDF]
11. „Optimierung tieferer Transformatoren für kleine Datensätze“. ACL(2021) [PDF] [Code]
12. „EarlyBERT: Effizientes BERT-Training über Frühbucher-Lottoscheine“ . ACL(2021) [PDF] [Code]

Schlussfolgerung

1. „BERT verliert die Geduld: Schnelle und robuste Schlussfolgerung mit frühem Ausstieg“ . NeurIPS(2020) [PDF] [Code]
2. GAML-BERT : „GAML-BERT: Verbesserung des BERT-Frühausstiegs durch gradientenorientiertes gegenseitiges Lernen“. EMNLP(2021) [PDF]
3. „Effiziente Modelle der nächsten Nachbarsprache“. EMNLP(2021) [PDF] [Code]
4. GhostBERT : „GhostBERT: Generieren Sie mehr Funktionen mit günstigen Vorgängen für BERT“. ACL(2021) [PDF] [Code]
5. LeeBERT : „LeeBERT: Early Exit für BERT mit stufenübergreifender Optimierung gelernt“. ACL(2021) [PDF]
6. „Längenadaptiver Transformator: Einmal trainieren mit Längenabfall, jederzeit mit Suche verwenden“ . ACL(2021) [PDF] [Code]
7. „Destillieren des Wissens von BERT in einfache, vollständig verbundene neuronale Netze für einen effizienten vertikalen Abruf“. CIKM(2021) [PDF]

Kompression

1. DistilBERT : „DistilBERT, eine destillierte Version von BERT: kleiner, schneller, billiger und leichter.“ arXiv(2019) [PDF] [Code]
2. PKD : „Destillation von Patientenwissen für die BERT-Modellkomprimierung“. EMNLP(2019) [PDF] [Code]
3. „Aufgabenspezifisches Wissen von BERT in einfache neuronale Netze destillieren“. arXiv(2019) [PDF]
4. Q8BERT : „Q8BERT: Quantisiertes 8Bit BERT“. 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing - NeurIPS 2019 [PDF]
5. ALBERT : „ALBERT: Ein Lite-BERT für selbstüberwachtes Lernen von Sprachrepräsentationen“. ICLR(2020) [PDF] [Code]
6. TinyBERT : „TinyBERT: BERT für das Verständnis natürlicher Sprache destillieren“. EMNLP(2020) [PDF] [Code]
7. Layerdrop : „Reduzieren der Transformatortiefe bei Bedarf mit strukturiertem Dropout“. ICLR(2020) [PDF] [Code]
8. Q-BERT : „Q-BERT: Hessian-basierte Ultra-Low-Precision-Quantisierung von BERT“. AAAI(2020) [PDF]
9. MobileBERT : „MobileBERT: ein kompaktes aufgabenunabhängiges BERT für ressourcenbeschränkte Geräte“. ACL(2020) [PDF] [Code]
10. „Komprimierung von BERT: Untersuchung der Auswirkungen von Gewichtsreduzierung auf das Transferlernen“. 5th Workshop on Representation Learning for NLP(2020) [PDF] [Code]
11. MiniLM : „MiniLM: Deep Self-Attention Destillation für aufgabenunabhängige Komprimierung vorab trainierter Transformatoren“. arXiv(2020) [PDF] [Code]
12. FastBERT : „FastBERT: ein selbstdestillierendes BERT mit adaptiver Inferenzzeit“. ACL(2020) [PDF] [Code]
13. DeeBERT : „DeeBERT: Dynamisches Early Exiting zur Beschleunigung der BERT-Inferenz“. ACL(2020) [PDF] [Code]
14. „Komprimierung großer transformatorbasierter Modelle: Eine Fallstudie zu BERT“. TACL(2021) [PDF]
15. „Mit kontinuierlicher Sparsifizierung im Lotto gewinnen“ . NeurIPS(2020) [PDF] [Code]
16. SqueezeBERT : „SqueezeBERT: Was kann Computer Vision NLP über effiziente neuronale Netze beibringen?“ SustaiNLP(2020) [PDF]
17. Audio ALBERT : „Audio Albert: Ein Lite Bert für selbstüberwachtes Lernen der Audiodarstellung“. SLT(2021) [PDF] [Code]
18. T2R : „Feinabstimmung vorab trainierter Transformatoren in RNNs“. EMNLP(2021) [PDF] [Code]
19. „Jenseits der erhaltenen Genauigkeit: Bewertung der Loyalität und Robustheit der BERT-Komprimierung“. EMNLP(2021) [PDF] [Code]
20. Meta-KD : „Meta-KD: Ein Meta-Wissensdestillations-Framework für die domänenübergreifende Sprachmodellkomprimierung“. ACL(2021) [PDF] [Code]
21. „Supertickets in vorab trainierten Sprachmodellen: Von der Modellkomprimierung zur Verbesserung der Generalisierung“. ACL(2021) [PDF] [Code]
22. BinaryBERT : „BinaryBERT: Die Grenzen der BERT-Quantisierung überschreiten“. ACL(2021) [PDF] [Code]
23. AutoTinyBERT : „AutoTinyBERT: Automatische Hyperparameter-Optimierung für effiziente vorab trainierte Sprachmodelle“. ACL(2021) [PDF] [Code]
24. „Der Grenznutzen nimmt ab: Erkundung des Mindestwissens für die BERT-Wissensdestillation“. ACL(2021) [PDF] [Code]
25. „Ermöglichung einer leichten Feinabstimmung für die Komprimierung vorab trainierter Sprachmodelle basierend auf Matrixproduktoperatoren“. ACL(2021) [PDF] [Code]
26. NAS-BERT : „NAS-BERT: Aufgabenunabhängige und größenadaptive BERT-Komprimierung mit neuronaler Architektursuche“. KDD(2021) [PDF]

PLM-Anpassung

Zweistufig

1. „Satzkodierer auf STILTs: Ergänzende Schulung zu Aufgaben mit beschrifteten Daten für Fortgeschrittene“. arXiv(2018) [PDF] [Code]
2. „Wie optimiert man BERT für die Textklassifizierung?“ CCL(2019) [PDF]
3. „Hören Sie nicht mit dem Vortraining auf: Passen Sie Sprachmodelle an Domänen und Aufgaben an“. ACL(2020) [PDF] [Code]
4. „Intermediate-Task-Transfer-Lernen mit vortrainierten Sprachmodellen: Wann und warum funktioniert es?“ ACL(2020) [PDF]
5. „Worauf sollte man vorab trainieren? Effiziente Auswahl von Zwischenaufgaben“. EMNLP(2021) [PDF] [Code]
6. „Über den Einfluss von Maskierungsrichtlinien in der Vorschulung für Fortgeschrittene“. EMNLP(2021) [PDF]
7. TADPOLE : „TADPOLE: Aufgabenangepasstes Vortraining über AnOmaLy DEtection“. EMNLP(2021) [PDF]

Multitasking

1. MT-DNN : „Multi-Task Deep Neural Networks for Natural Language Understanding“. ACL(2019) [PDF] [Code]
2. „BAM! Wiedergeborene Multitask-Netzwerke für das Verständnis natürlicher Sprache“. ACL(2019) [PDF] [Code]
3. „Verbesserung multitaskingfähiger tiefer neuronaler Netze durch Wissensdestillation für das Verständnis natürlicher Sprache“. arXiv(2019) [PDF] [Code]
4. GradTS : „GradTS: Eine auf Gradienten basierende automatische Auswahlmethode für Hilfsaufgaben basierend auf Transformatornetzwerken“. EMNLP(2021) [PDF]
5. „Was geht in Ihrem Kopf vor? Emergentes Verhalten in Multitask-Transformatormodellen“. EMNLP(2021) [PDF]
6. MTAdam : „MTAdam: Automatischer Ausgleich mehrerer Trainingsverlustbedingungen“. EMNLP(2021) [PDF]
7. Muppet : „Muppet: Massive Multi-Task-Darstellungen mit Vor-Finetuning“. EMNLP(2021) [PDF]
8. „Die Stammzellhypothese: Dilemma hinter Multi-Task-Lernen mit Transformer-Encodern“. EMNLP(2021) [PDF] [Code]
9. BERTGen : „BERTGen: Multitasking-Generierung durch BERT“. ACL(2021) [PDF] [Code]
10. „Parametereffiziente Multitasking-Feinabstimmung für Transformatoren über gemeinsam genutzte Hypernetzwerke“. ACL(2021) [PDF] [Code]

Adapter

1. „BERT und PALs: Projizierte Aufmerksamkeitsebenen für eine effiziente Anpassung beim Multitasking-Lernen“. ICML(2019) [PDF] [Code]
2. Adapter : „Parametereffizientes Transferlernen für NLP“. ICML(2019) [PDF] [Code]
3. AdapterDrop : „AdapterDrop: Zur Effizienz von Adaptern in Transformatoren“. EMNLP(2021) [PDF]
4. „Zur Wirksamkeit der adapterbasierten Optimierung für die Anpassung vorab trainierter Sprachmodelle“. ACL(2021) [PDF]
5. „Lernen, aufgabenspezifische Adapter aus der Aufgabenbeschreibung zu generieren“. ACL(2021) [PDF] [Code]

Prompt

1. PET : „Nutzung von Lückentextfragen für die Textklassifizierung mit wenigen Texten und die Inferenz natürlicher Sprache“. EACL(2021) [PDF] [Code]
2. „Es kommt nicht nur auf die Größe an: Kleine Sprachmodelle sind auch wenige Lerner“ . NAACL(2021) [PDF] [Code]
3. „Präfix-Tuning: Optimierung kontinuierlicher Eingabeaufforderungen für die Generierung“. arXiv(2021) [PDF]
4. LM-BFF : „Vorab trainierte Sprachmodelle für Lernende mit wenigen Schüssen verbessern“. ACL(2021) [PDF] [Code]
5. „Was macht gute Kontextbeispiele für GPT-3 aus?“ arXiv(2021) [PDF] [Code]
6. „Die Macht der Skalierung für eine Parameter-effiziente, schnelle Abstimmung“. EMNLP(2021) [PDF] [Code]
7. „Feinabgestimmte Sprachmodelle sind Zero-Shot-Lernende“ . arXiv(2021) [PDF]
8. „Vor der Verwendung kalibrieren: Verbesserung der Few-Shot-Leistung von Sprachmodellen“. ICML(2021) [PDF] [Code]
9. TransPrompt : „TransPrompt: Auf dem Weg zu einem automatisch übertragbaren Eingabeaufforderungs-Framework für die Textklassifizierung mit wenigen Schüssen“. EMNLP(2021) [PDF] [Code]
10. SFLM : „Revisiting Self-training for Few-shot Learning of Language Model“. EMNLP(2021) [PDF] [Code]
11. ADAPET : „Verbesserung und Vereinfachung des Pattern-Exploiting-Trainings“. EMNLP(2021) [PDF] [Code]

Andere

1. „Abstimmen oder nicht abstimmen? Vortrainierte Darstellungen an verschiedene Aufgaben anpassen“. RepL4NLP(2019) [PDF]
2. „Ein peinlich einfacher Ansatz zum Transferlernen aus vorab trainierten Sprachmodellen“. NAACL(2019) [PDF] [Code]
3. „Feinabstimmung vorab trainierter Sprachmodelle: Gewichtsinitialisierungen, Datenreihenfolgen und frühes Stoppen“. arXiv(2020) [PDF]
4. SMART : „SMART: Robuste und effiziente Feinabstimmung für vorab trainierte Modelle natürlicher Sprache durch prinzipielle regulierte Optimierung“. EMNLP(2020) [PDF] [Code]
5. „Überarbeitung der BERT-Feinabstimmung bei wenigen Stichproben“. ICLR(2021) [PDF]
6. Mirror-BERT : „Schnell, effektiv und selbstüberwacht: Maskierte Sprachmodelle in universelle Lexikon- und Satzkodierer umwandeln“. EMNLP(2021) [PDF] [Code]
7. „Vorab trainieren oder annotieren? Domänenanpassung mit begrenztem Budget“. EMNLP(2021) [PDF] [Code]
8. AVocaDo : „AVocaDo: Strategie zur Anpassung des Wortschatzes an nachgelagerte Domänen“. EMNLP(2021) [PDF]
9. KINDER-TUNING : „Erziehen Sie ein Kind im großen Sprachmodell: Auf dem Weg zu einer effektiven und verallgemeinerbaren Feinabstimmung“. EMNLP(2021) [PDF] [Code]
10. „Zähmung vorab trainierter Sprachmodelle mit N-Gramm-Darstellungen für eine ressourcenarme Domänenanpassung“. ACL(2021) [PDF] [Code]
11. LexFit : „LexFit: Lexikalische Feinabstimmung vorab trainierter Sprachmodelle“. ACL(2021) [PDF] [Code]
12. „Die Auswahl informativer Kontexte verbessert die Feinabstimmung des Sprachmodells“. ACL(2021) [PDF] [Code]
13. „Eine empirische Studie zur Hyperparameteroptimierung zur Feinabstimmung vorab trainierter Sprachmodelle“. ACL(2021) [PDF] [Code]
14. „Wie sollten vorab trainierte Sprachmodelle auf gegnerische Robustheit abgestimmt werden?“ NeurIPS(2021) [PDF] [Code]