commented transformers

علق المحولات

تطبيقات المحولات التي تم التعليق عليها بشدة في PyTorch لإنشاء سلسلة محولات من الصفر :

1. آلية الانتباه
2. بقية المحولات

يحتوي مجلد الطبقات على تطبيقات للانتباه ثنائي الاتجاه، والانتباه السببي، والانتباه المتقاطع.

يحتوي مجلد النماذج على تطبيقات ملف واحد لـ GPT-2 وBERT. كلا النموذجين متوافقان مع torch.compile(..., fullgraph=True) .