fnet

fnet

FNET的Pytorch實現：將令牌與傅立葉變換混合。

Quickstart

克隆這個存儲庫。

 git clone https://github.com/jaketae/fnet.git

導航到克隆目錄。您可以開始通過模型通過

 >> > from fnet import FNet
>> > model = FNet ()

默認情況下，該模型帶有以下參數：

 FNet (
    d_model = 256 ,
    expansion_factor = 2 ,
    dropout = 0.5 ,
    num_layers = 6 ,
)

概括

雖然變形金剛在各個領域已被證明是成功的，但其O(n^2)計算複雜性被認為是結構性弱點。已經嘗試了許多嘗試優化模型體系結構。該論文的作者提出了FNET，該模型用標準的未參考傅立葉變換代替了自我注意力。 FNET不僅比經典變壓器更有效，而且還保留了BERT在膠水基准上的92％的準確性。給定少數參數，FNET的表現優於變形金剛。

資源

• 原始紙
• Rishikesh的實施
• SyncedReview的媒介文章的圖像