commented transformers

Transformer yang dikomentari

Implementasi Transformers di PyTorch yang mendapat banyak komentar untuk membuat seri Transformer From Scratch :

1. Mekanisme Perhatian
2. Sisa Transformator

Folder lapisan berisi implementasi untuk Perhatian Dua Arah, Perhatian Kausal, dan CausalCrossAttention.

Folder model berisi implementasi file tunggal untuk GPT-2 dan BERT. Kedua model kompatibel dengan torch.compile(..., fullgraph=True) .