commented transformers

Transformadores comentados

Implementações altamente comentadas de Transformers em PyTorch para a série Criando um Transformer From Scratch :

1. O Mecanismo de Atenção
2. O resto do transformador

A pasta de camadas contém implementações para Atenção Bidirecional, Atenção Causal e CausalCrossAttention.

A pasta models contém implementações de arquivo único para GPT-2 e BERT. Ambos os modelos são compatíveis com torch.compile(..., fullgraph=True) .