commented transformers

Прокомментированные Трансформеры

Высоко оцененные реализации трансформеров в PyTorch для создания трансформера с нуля :

1. Механизм внимания
2. Остальная часть Трансформера

Папка слоев содержит реализации двунаправленного внимания, причинного внимания и CausalCrossAttention.

Папка моделей содержит отдельные файловые реализации для GPT-2 и BERT. Обе модели совместимы с torch.compile(..., fullgraph=True) .