Implémentation Pytorch de FNET: mélange des jetons avec des transformations de Fourier.
Cloner ce référentiel.
git clone https://github.com/jaketae/fnet.git
Accédez au répertoire cloné. Vous pouvez commencer à utiliser le modèle via
>> > from fnet import FNet
>> > model = FNet ()Par défaut, le modèle est livré avec les paramètres suivants:
FNet (
d_model = 256 ,
expansion_factor = 2 ,
dropout = 0.5 ,
num_layers = 6 ,
) Alors que les transformateurs se sont avérés réussir dans divers domaines, sa complexité de calcul O(n^2) a été considérée comme une faiblesse structurelle. De nombreuses tentatives ont été faites pour optimiser l'architecture du modèle. Les auteurs de l'article présentent un modèle FNET, un modèle qui remplace l'auto-attention par des transformations de Fourier non paramétrisées standard. Non seulement le FNET est plus rapide et le calcul est plus efficace que le transformateur classique, mais il conserve également 92% de la précision de Bert sur la référence Glue. Compte tenu d'un plus petit nombre de paramètres, FNET a surpassé les transformateurs.
