commented transformers

Kommentiert Transformers

Hochkommentierte Implementierungen von Transformers in PyTorch zum Erstellen einer Transformer From Scratch -Serie:

1. Der Aufmerksamkeitsmechanismus
2. Der Rest des Transformators

Der Ordner „layers“ enthält Implementierungen für „Bidirektionale Aufmerksamkeit“, „Kausale Aufmerksamkeit“ und „CausalCrossAttention“.

Der Ordner „models“ enthält Einzeldateiimplementierungen für GPT-2 und BERT. Beide Modelle sind mit torch.compile(..., fullgraph=True) kompatibel.