Pytorch -Implementierung von FNET: Mischen von Token mit Fourier -Transformationen.
Klonen Sie dieses Repository.
git clone https://github.com/jaketae/fnet.git
Navigieren Sie zum geklonten Verzeichnis. Sie können das Modell über verwenden
>> > from fnet import FNet
>> > model = FNet ()Standardmäßig enthält das Modell die folgenden Parameter:
FNet (
d_model = 256 ,
expansion_factor = 2 ,
dropout = 0.5 ,
num_layers = 6 ,
) Während sich Transformatoren in verschiedenen Bereichen als erfolgreich erwiesen haben, wurde die Komplexität von O(n^2) als strukturelle Schwäche angesehen. Es wurden viele Versuche unternommen, die Modellarchitektur zu optimieren. Die Autoren des Papiers präsentieren FNET, ein Modell, das die Selbstbekämpfung durch nicht parametrisierte Fourier-Transformationen ersetzt. FNnet ist nicht nur schneller und rechnerisch effizienter als der klassische Transformator, sondern behält auch 92% der Genauigkeit von Bert auf dem Klebstoff -Benchmark bei. Bei einer geringeren Anzahl von Parametern übertraf FNET -Transformatoren.
