Transformer Architectures From Scratch

Architecture de transformateur à partir de zéro à l'aide de PyTorch

1) TRANSFORMATEUR -

Une architecture d'encodeur-décodeur basée sur l'auto-attention. Il est surtout utilisé pour

1. Traduction automatique
2. Résumé du document
3. Extraction de texte

Papier - https://arxiv.org/abs/1706.03762

2) BERTE -

Une architecture d'encodeur basée sur l'auto-attention. Il est surtout utilisé pour

1. Classification des sentiments
2. Reconnaissance d'entité nommée
3. Questions et réponses
4. Extraction d'incorporation de phrases
5. Correspondance de documents

Papier - https://arxiv.org/abs/1810.04805

3) GPT-1 -

Un modèle autorégressif basé sur un décodeur basé sur l'auto-attention. Il est surtout utilisé pour

1. Achèvement de la phrase
2. Générer du texte
3. Classification des sentiments

Papier - https://paperswithcode.com/method/gpt

4) GPT-2 -

Un modèle autorégressif basé sur un décodeur basé sur l'auto-attention avec un léger changement d'architecture et formé sur un corpus de texte plus grand que GPT-1. Il est surtout utilisé pour

1. Achèvement de la phrase
2. Générer du texte
3. Classification des sentiments

Article - https://d4mucfpksywv.cloudfront.net/better-langage-models/langage-models.pdf

5) Vit -

Une architecture d'encodeur de pointe basée sur l'auto-attention pour les applications de vision par ordinateur. Il est surtout utilisé pour

1. Classement des images
2. Encodage d'images
3. Backbone pour la détection d'objets

Article - https://arxiv.org/abs/2006.03677

6) INTERPRÈTE -

Une architecture de codeur-décodeur basée sur l'auto-attention avec une complexité temporelle linéaire autre que le transformateur qui a une complexité temporelle quadratique. On l'utilise surtout

1. Traduction automatique
2. Résumé du document
3. Extraction de texte

Article - https://arxiv.org/abs/2009.14794