commented transformers

Transformateurs commentés

Implémentations très commentées de Transformers dans PyTorch pour la série Création d'une série Transformer From Scratch :

1. Le mécanisme d'attention
2. Le reste du transformateur

Le dossier Layers contient des implémentations pour Bidirectionnel Attention, Causal Attention et CausalCrossAttention.

Le dossier models contient des implémentations de fichiers uniques pour GPT-2 et BERT. Les deux modèles sont compatibles avec torch.compile(..., fullgraph=True) .