fnetダウンロードfnetソースコードのダウンロード

fnet

その他のソースコード

ダウンロード

fnet

FNETのPytorch実装：トークンとフーリエ変換を混合します。

クイックスタート

このリポジトリをクローンします。

 git clone https://github.com/jaketae/fnet.git

クローン化されたディレクトリに移動します。モデルの使用を開始できます

 >> > from fnet import FNet
>> > model = FNet ()

デフォルトでは、モデルには次のパラメーターが付属しています。

 FNet (
    d_model = 256 ,
    expansion_factor = 2 ,
    dropout = 0.5 ,
    num_layers = 6 ,
)

まとめ

トランスはさまざまなドメインで成功することが証明されていますが、そのO(n^2)の計算の複雑さは構造的な弱点と見なされています。モデルアーキテクチャを最適化するための多くの試みがなされてきました。この論文の著者は、自己attentionを標準的なパラメーター化されたフーリエ変換に置き換えるモデルであるFNETを提示します。 FNETは、クラシックトランスよりも速く、計算効率が高くなるだけでなく、接着剤ベンチマークでBertの精度の92％を保持しています。パラメーターの数が少ないと、FNETは変圧器を上回りました。