تنزيل fnet - تنزيل رمز المصدر fnet

fnet

شفرة المصدر الأخرى

تنزيل

fnet

تنفيذ Pytorch من FNET: خلط الرموز مع تحويلات فورييه.

Quickstart

استنساخ هذا المستودع.

 git clone https://github.com/jaketae/fnet.git

انتقل إلى الدليل المستنسخ. يمكنك البدء في استخدام النموذج عبر

 >> > from fnet import FNet
>> > model = FNet ()

بشكل افتراضي ، يأتي النموذج مع المعلمات التالية:

 FNet (
    d_model = 256 ,
    expansion_factor = 2 ,
    dropout = 0.5 ,
    num_layers = 6 ,
)

ملخص

على الرغم من أن المحولات أثبتت أنها ناجحة في مختلف المجالات ، إلا أن تعقيد حساب O(n^2) يعتبر ضعفًا هيكليًا. بذلت العديد من المحاولات لتحسين بنية النموذج. يقدم مؤلفو الورقة FNET ، وهو نموذج يحل محل الاهتمام الذاتي مع تحويلات فورييه غير المبررة القياسية. ليس فقط FNET أسرع وحسابية أكثر كفاءة من المحول الكلاسيكي ، ولكنه يحتفظ أيضًا بنسبة 92 ٪ من دقة BERT على معيار الغراء. بالنظر إلى عدد أقل من المعلمات ، تفوقت FNET على المحولات.