awesome language model analysis herunterladen – awesome language model analysis

Fantastische Sprachmodellanalyse

Diese Papierliste konzentriert sich auf die theoretische und empirische Analyse von Sprachmodellen, insbesondere großen Sprachmodellen (LLMs). Die Arbeiten in dieser Liste untersuchen das Lernverhalten, die Generalisierungsfähigkeit und andere Eigenschaften von Sprachmodellen durch theoretische Analyse, empirische Analyse oder eine Kombination aus beidem.

Umfang dieser Liste:

Derzeit konzentriert sich diese Liste auf transformatorbasierte Modelle.
Wir hoffen, Aufsätze zu sammeln, die sich nur auf die theoretische und empirische Analyse von Sprachmodellen konzentrieren, statt Aufsätze, die darauf abzielen, die Leistung von Sprachmodellen zu verbessern.

Einschränkungen dieser Liste:

Diese Liste erhebt keinen Anspruch auf Vollständigkeit und es kann sein, dass wir einige sehr wichtige Dokumente übersehen.
Diese Liste ist noch nicht gut organisiert und wir müssen die Liste möglicherweise in Zukunft neu organisieren.
Einige beliebte Themen werden noch nicht ausreichend behandelt, beispielsweise mechanistische Technik, Sondierung und Interpretierbarkeit.

Statistiken dieser Papierliste:

Gesamtzahl der verschiedenen Arbeiten: 550
Ausführlichere Statistiken finden Sie am Ende dieser Seite.

Wenn Sie Vorschläge haben oder einen Beitrag leisten möchten, können Sie gerne ein Problem oder eine Pull-Anfrage eröffnen.

Einzelheiten zu den Beitragsmöglichkeiten finden Sie in den Beitragsrichtlinien.

Sie können Ihre Gedanken auch in den Diskussionen teilen und mit anderen diskutieren.

Notiz

Die nicht kategorisierte Version finden Sie hier.

Inhaltsverzeichnis

Fantastische Sprachmodellanalyse
Inhaltsverzeichnis
- Phänomene von Interesse
  - Lernen im Kontext
  - Gedankenkette
  - Halluzination
  - Umkehrfluch
  - Skalierungsgesetze / Emergente Fähigkeiten / Grokking / etc.
  - Wissen / Gedächtnismechanismen
  - Trainingsdynamik / Landschaft / Optimierung / Feinabstimmung / etc.
  - Lernen / Generalisierung / Argumentation / Schwache bis starke Generalisierung
  - Andere Phänomene / Entdeckungen
- Repräsentationsvermögen
  - Was kann Transformer? / Eigenschaften des Transformators
  - Was kann Transformer nicht? / Einschränkung des Transformators
- Architektonische Wirksamkeit
  - Layer-Normalisierung
  - Tokenisierung / Einbettung
  - Lineare Aufmerksamkeit / Zustandsraummodelle / Rekurrente Sprachmodelle / etc.
- Trainingsparadigmen
- Mechanistische Technik / Sondierung / Interpretierbarkeit
- Verschiedenes

Phänomene von Interesse

^ back to top ^

Kategorien, die sich auf verschiedene Phänomene, Eigenschaften und Verhaltensweisen konzentrieren, die in großen Sprachmodellen (LLMs) und transformatorbasierten Modellen beobachtet werden.

Lernen im Kontext

^ back to top ^

Beiträge mit Schwerpunkt auf der theoretischen und empirischen Analyse des kontextbezogenen Lernens in großen Sprachmodellen.