fnet

fnet

FNET的Pytorch实现：将令牌与傅立叶变换混合。

Quickstart

克隆这个存储库。

 git clone https://github.com/jaketae/fnet.git

导航到克隆目录。您可以开始通过模型通过

 >> > from fnet import FNet
>> > model = FNet ()

默认情况下，该模型带有以下参数：

 FNet (
    d_model = 256 ,
    expansion_factor = 2 ,
    dropout = 0.5 ,
    num_layers = 6 ,
)

概括

虽然变形金刚在各个领域已被证明是成功的，但其O(n^2)计算复杂性被认为是结构性弱点。已经尝试了许多尝试优化模型体系结构。该论文的作者提出了FNET，该模型用标准的未参考傅立叶变换代替了自我注意力。 FNET不仅比经典变压器更有效，而且还保留了BERT在胶水基准上的92％的准确性。给定少数参数，FNET的表现优于变形金刚。

资源

• 原始纸
• Rishikesh的实施
• SyncedReview的媒介文章的图像