reweight gpt

Repondérer les tags GPT

Une alternative au mécanisme d’auto-attention dans l’architecture Transformer. Il utilise des connexions latérales apprenables pour repondérer les entrées directement au lieu du mécanisme d'auto-attention (comme illustré ci-dessous). Pour en savoir plus sur la méthode, regardez cette vidéo (à partir de 41:26) : https://youtu.be/l-CjXFmcVzY

Fichiers :

1. le dossier du didacticiel - Un didacticiel étape par étape depuis les bases jusqu'au GPT.
2. reweight-gpt.py (Une implémentation GPT multibloc utilisant une repondération directe de la matrice d'attention).
3. reweight-gpt-nonlinear.py (Une version non linéaire de la méthode de repondération directe. Pour une comparaison facile entre les deux méthodes, j'ai adapté ce script directement à partir de l'implémentation GPT d'Andrej Karpathy).

Illustration: