Transformer Architectures From Scratch

Transformer-Architektur von Grund auf mit PyTorch

1) TRANSFORMATOR –

Eine auf Selbstaufmerksamkeit basierende Encoder-Decoder-Architektur. Es wird hauptsächlich für verwendet

1. Maschinelle Übersetzung
2. Zusammenfassung von Dokumenten
3. Textextraktion

Papier – https://arxiv.org/abs/1706.03762

2) BERT -

Eine auf Selbstaufmerksamkeit basierende Encoder-Architektur. Es wird hauptsächlich für verwendet

1. Stimmungsklassifizierung
2. Anerkennung benannter Entitäten
3. Frage und Antwort
4. Extraktion von Satzeinbettungen
5. Dokumentenabgleich

Papier – https://arxiv.org/abs/1810.04805

3) GPT-1 -

Ein auf Selbstaufmerksamkeit basierendes Decoder-basiertes autoregressives Modell. Es wird hauptsächlich für verwendet

1. Satzvervollständigung
2. Text generieren
3. Stimmungsklassifizierung

Papier – https://paperswithcode.com/method/gpt

4) GPT-2 -

Ein auf Selbstaufmerksamkeit basierendes, auf einem Decoder basierendes autoregressives Modell mit einer geringfügigen Änderung in der Architektur, das auf einem größeren Textkorpus als GPT-1 trainiert wurde. Es wird hauptsächlich für verwendet

1. Satzvervollständigung
2. Text generieren
3. Stimmungsklassifizierung

Papier – https://d4mucfpksywv.cloudfront.net/better-Language-Models/Language-Models.pdf

5) ViT -

Eine hochmoderne, auf Selbstaufmerksamkeit basierende Encoder-Architektur für Computer-Vision-Anwendungen. Es wird hauptsächlich für verwendet

1. Bildklassifizierung
2. Bildkodierung
3. Rückgrat für die Objekterkennung

Papier – https://arxiv.org/abs/2006.03677

6) DARSTELLER –

Eine auf Selbstaufmerksamkeit basierende Encoder-Decoder-Architektur mit einer linearen Zeitkomplexität, anders als der Transformator, der eine quadratische Zeitkomplexität aufweist. Es wird meistens verwendet

1. Maschinelle Übersetzung
2. Zusammenfassung von Dokumenten
3. Textextraktion

Papier – https://arxiv.org/abs/2009.14794