commented transformers

Transformadores comentados

Implementaciones muy comentadas de Transformers en PyTorch para la serie Crear un Transformer desde cero :

1. El mecanismo de atención
2. El resto del transformador

La carpeta de capas contiene implementaciones para Atención bidireccional, Atención causal y Atención cruzada causal.

La carpeta de modelos contiene implementaciones de un solo archivo para GPT-2 y BERT. Ambos modelos son compatibles con torch.compile(..., fullgraph=True) .