reweight gpt

GPT neu gewichten

Eine Alternative zum Selbstaufmerksamkeitsmechanismus in der Transformer-Architektur. Es verwendet lernbare seitliche Verbindungen, um die Eingaben direkt neu zu gewichten, anstelle des Selbstaufmerksamkeitsmechanismus (wie unten dargestellt). Um mehr über die Methode zu erfahren, schauen Sie sich dieses Video an (ab 41:26): https://youtu.be/l-CjXFmcVzY

Dateien:

1. der Tutorial-Ordner – Eine Schritt-für-Schritt-Anleitung von den Grundlagen bis hin zu GPT.
2. reweight-gpt.py (Eine Multiblock-GPT-Implementierung mit direkter Neugewichtung der Aufmerksamkeitsmatrix).
3. reweight-gpt-nonlinear.py (Eine nichtlineare Version der direkten Neugewichtungsmethode. Für einen einfachen Vergleich zwischen den beiden Methoden habe ich dieses Skript direkt aus der GPT-Implementierung von Andrej Karpathy angepasst.)

Illustration: